Was ist MirrorWebCrawler?
Kurzantwort: MirrorWebCrawler ist ein Webarchivierungs-Bot, betrieben von MirrorWeb Ltd, der Archivierungslösungen für den Finanz- und öffentlichen Sektor bereitstellt.
Der MirrorWebCrawler ist ein kommerzieller Webarchivierungs-Bot, der zum Erfassen und Bewahren von Website-Inhalten in Echtzeit verwendet wird. Er wird von MirrorWeb Ltd betrieben, einem Unternehmen, das Archivierungslösungen für den Finanz- und öffentlichen Sektor anbietet. Die Hauptfunktion des Bots besteht darin, Websites für Compliance, Nachweiszwecke und zur Beruhigung zu archivieren und dabei Finanzvorschriften, FOIA-Anforderungen oder die Aufbewahrung von Inhalten für rechtliche Zwecke zu erfüllen.
User-Agent-Identifikation
Die folgenden User-Agent-Strings identifizieren MirrorWebCrawler in Ihren Live-Traffic-Daten:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36 +https://www.mirrorweb.com
robots.txt-Regeln für MirrorWebCrawler
Respektiert robots.txt: Nein
Dieser Bot verpflichtet sich nicht, robots.txt zu befolgen
MirrorWebCrawler befolgt robots.txt-Anweisungen nicht offiziell. Die einzige zuverlässige Methode zur Zugriffskontrolle ist serverseitiges Blockieren (IP-Filterung, User-Agent-Regeln in Ihrer Webserver-Konfiguration) in Kombination mit Log-Monitoring zur Wirksamkeitsüberprüfung.
Benötigen Sie kontinuierliche Verifizierung für über 500 Bots? Can AI See It automatisiert dies.
Crawl-Verhalten
Häufigkeit:Continuous
Anfragemuster:Real-Time Website Capture
Crawl-Aktivitätsindex
Relative Crawl-Aktivität von MirrorWebCrawler der letzten 28 Tage. Höhere Werte zeigen eine erhöhte Crawl-Intensität im Vergleich zum Basiszeitraum an.
Aktuelle Aktivitätsdaten anzeigen (letzte 7 Tage)
| Datum | Aktivitätsindex |
|---|---|
| Mar 28, 2026 | 28.0 |
| Mar 29, 2026 | 26.3 |
| Mar 30, 2026 | 20.2 |
| Mar 31, 2026 | 17.1 |
| Apr 1, 2026 | 16.4 |
| Apr 2, 2026 | 23.7 |
| Apr 3, 2026 | 23.3 |
Quelle: Cloudflare Radar
Warum MirrorWebCrawler-Traffic überwachen?
Identifizieren und klassifizieren Sie unbekannte Crawler-Aktivitäten. MirrorWebCrawler kann in Ihren Live-Traffic-Daten mit unterschiedlicher Häufigkeit auftauchen. Die Verfolgung seines Verhaltens hilft Ihnen, basierend auf tatsächlichen Daten zu entscheiden, ob Sie ihn erlauben, drosseln oder blockieren.
Schützen Sie Ihr Crawl-Budget. Jede Bot-Anfrage verbraucht Serverressourcen. Das Verständnis dessen, was MirrorWebCrawler crawlt, hilft Ihnen, die wichtigen Crawler zu priorisieren.
Log-Verifizierung
So verifizieren Sie MirrorWebCrawler-Traffic in Ihren Live-Traffic-Daten:
- Durchsuchen Sie Zugriffsprotokolle nach den oben aufgeführten User-Agent-Strings
- Prüfen Sie, ob die IP-Adressen mit dokumentierten Bereichen übereinstimmen (falls von MirrorWeb Ltd bereitgestellt)
- Verifizieren Sie, ob das Crawl-Muster dem dokumentierten Verhalten entspricht
- Verwenden Sie Reverse-DNS-Lookup zur zusätzlichen Verifizierung, falls verfügbar
Note: Das beobachtete Verhalten in Produktionsumgebungen kann von der offiziellen Dokumentation abweichen. Live-Traffic-Monitoring bietet die einzige zuverlässige Verifizierung des tatsächlichen Bot-Verhaltens.
Undokumentierte Informationen
Die folgenden Informationen sind für MirrorWebCrawler nicht offiziell dokumentiert:
- crawl frequency details
- IP verification method
- JavaScript rendering details
Offizielle Dokumentation
Offizielle MirrorWebCrawler-Dokumentation anzeigen →
Informationen stammen aus der offiziellen Dokumentation. Inhalt mit KI-Unterstützung erstellt.