Was ist Siteimprove Crawl?
Kurzantwort: Siteimprove Crawl bot, betrieben von Siteimprove, für die Analyse von SEO- und Content-Suite.
Der Siteimprove Crawl bot wird für die Content-Suite von Siteimprove verwendet, die Quality Assurance, Accessibility, Policy und SEO umfasst. Er crawlt Websites auf Port 80 für HTTP und 443 für HTTPS. Der bot verwendet bestimmte IP-Adressen und user agents, um sich zu identifizieren.
User-Agent-Identifikation
Die folgenden User-Agent-Strings identifizieren Siteimprove Crawl in Ihren Live-Traffic-Daten:
Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0) SiteCheck-sitecrawl
robots.txt-Regeln für Siteimprove Crawl
Respektiert robots.txt: Nein
Verwenden Sie die folgenden robots.txt-Regeln, um den Zugriff von Siteimprove Crawl zu steuern:
# Block Siteimprove Crawl
User-agent: SiteimproveBot-Crawler
Disallow: /
# Allow Siteimprove Crawl
User-agent: SiteimproveBot-Crawler
Allow: /Dieser Bot verpflichtet sich nicht, robots.txt zu befolgen
Siteimprove Crawl befolgt robots.txt-Anweisungen nicht offiziell. Die einzige zuverlässige Methode zur Zugriffskontrolle ist serverseitiges Blockieren (IP-Filterung, User-Agent-Regeln in Ihrer Webserver-Konfiguration) in Kombination mit Log-Monitoring zur Wirksamkeitsüberprüfung.
Benötigen Sie kontinuierliche Verifizierung für über 500 Bots? Can AI See It automatisiert dies.
Crawl-Verhalten
Häufigkeit:Continuous
Anfragemuster:Crawls Run On Ports 80 For HTTP And 443 For HTTPS
Zitate aus der offiziellen Dokumentation
"This article provides details for the IP addresses and user-agent strings used by Siteimprove on your website."
Crawl-Aktivitätsindex
Relative Crawl-Aktivität von Siteimprove Crawl der letzten 28 Tage. Höhere Werte zeigen eine erhöhte Crawl-Intensität im Vergleich zum Basiszeitraum an.
Aktuelle Aktivitätsdaten anzeigen (letzte 7 Tage)
| Datum | Aktivitätsindex |
|---|---|
| Mar 26, 2026 | 88.0 |
| Mar 27, 2026 | 82.7 |
| Mar 28, 2026 | 83.1 |
| Mar 29, 2026 | 81.8 |
| Mar 30, 2026 | 87.3 |
| Mar 31, 2026 | 90.2 |
| Apr 1, 2026 | 88.8 |
Quelle: Cloudflare Radar
Warum Siteimprove Crawl-Traffic überwachen?
Kontrollieren Sie die Server-Auswirkungen durch Drittanbieter-Crawling. Siteimprove Crawl crawlt Ihre Website, um die SEO-Datenbank von Siteimprove aufzubauen. Obwohl nützlich für Wettbewerbsanalysen, können diese Crawler auf großen Websites erhebliche Serverressourcen verbrauchen.
Identifizieren Sie, wer Ihre Website analysiert. Siteimprove Crawl-Besuche zeigen, wenn Wettbewerber oder Agenturen Audits auf Ihrer Domain durchführen.
Verwalten Sie die Crawl-Priorität. Wenn Siteimprove Crawl Crawl-Budget verbraucht, das Sie lieber Suchmaschinen zuweisen würden, können Sie es basierend auf gemessenem Volumen drosseln oder blockieren.
Decken Sie 4XX- und 5XX-Fehler auf, bevor Suchmaschinen sie finden. Wenn Siteimprove Crawl in seinen Crawl-Daten fehlerhafte Seiten oder Serverfehler meldet, können Sie diese Probleme proaktiv beheben — bevor Suchmaschinen-Crawler darauf stoßen und Ihre Rankings leiden.
Lohnt sich Siteimprove Crawl die Serverressourcen?
Siteimprove Crawl crawlt Ihre Website, um die SEO-Datenbank von Siteimprove aufzubauen. Anders als Suchmaschinen sendet Ihnen dieser Crawler keinen Referral-Traffic — er speist ein Drittanbieter-Tool.
Das ist nicht unbedingt ein Problem — die Daten von Siteimprove können Tools unterstützen, die Sie selbst nutzen. Die Frage ist, ob das Crawl-Volumen von Siteimprove Crawl in einem angemessenen Verhältnis zum Nutzen steht.
Was Can AI See It misst
Anfragen pro Tag und von Siteimprove Crawl verbrauchte Bandbreite
Welchen Prozentsatz Ihres gesamten Bot-Traffics macht Siteimprove Crawl aus?
Scraper, die den User-Agent-String von Siteimprove Crawl fälschen
Log-Verifizierung
So verifizieren Sie Siteimprove Crawl-Traffic in Ihren Live-Traffic-Daten:
- Durchsuchen Sie Zugriffsprotokolle nach den oben aufgeführten User-Agent-Strings
- Prüfen Sie, ob die IP-Adressen mit dokumentierten Bereichen übereinstimmen (falls von Siteimprove bereitgestellt)
- Verifizieren Sie, ob das Crawl-Muster dem dokumentierten Verhalten entspricht
- Verwenden Sie Reverse-DNS-Lookup zur zusätzlichen Verifizierung, falls verfügbar
IP-Verifizierung: Siteimprove bietet eine offizielle IP-Verifizierung über Published IP ranges an. Verifizierungsanleitung anzeigen →
A text file containing all IP addresses is available for download
Note: Das beobachtete Verhalten in Produktionsumgebungen kann von der offiziellen Dokumentation abweichen. Live-Traffic-Monitoring bietet die einzige zuverlässige Verifizierung des tatsächlichen Bot-Verhaltens.
Undokumentierte Informationen
Die folgenden Informationen sind für Siteimprove Crawl nicht offiziell dokumentiert:
- crawl frequency details
- JavaScript rendering details
Sehen Sie, welche SEO-Tools Ihre Website crawlen — und was sie kosten
- Drittanbieter-Crawler identifizieren, die Ihre Serverressourcen verbrauchen
- SEO-Tool-Traffic von Suchmaschinen-Crawls trennen
- Fake-Bots erkennen, die den User-Agent von Siteimprove Crawl fälschen
Offizielle Dokumentation
Offizielle Siteimprove Crawl-Dokumentation anzeigen →
Informationen stammen aus der offiziellen Dokumentation. Inhalt mit KI-Unterstützung erstellt.