Was ist Cloudflare Prefetch?
Kurzantwort: Cloudflare Prefetch ist ein von Cloudflare betriebener Bot für das Vorab-Abrufen von URLs, um Cache-Trefferraten und die Benutzererfahrung zu verbessern.
Cloudflare Prefetch ist ein Bot, der den Cache mit Inhalten vorbefüllt, die ein Besucher wahrscheinlich als Nächstes anfordert. Dies führt zu einer höheren Cache-Trefferrate und damit zu einer schnelleren Benutzererfahrung. Der user-agent des Bots lautet 'Mozilla/5.0 (compatible; CloudFlare-Prefetch/0.1; +http://www.cloudflare.com/)'.
User-Agent-Identifikation
Die folgenden User-Agent-Strings identifizieren Cloudflare Prefetch in Ihren Live-Traffic-Daten:
Mozilla/5.0 (compatible; CloudFlare-Prefetch/0.1; +http://www.cloudflare.com/)
robots.txt-Regeln für Cloudflare Prefetch
Respektiert robots.txt: Nein
Dieser Bot verpflichtet sich nicht, robots.txt zu befolgen
Cloudflare Prefetch befolgt robots.txt-Anweisungen nicht offiziell. Die einzige zuverlässige Methode zur Zugriffskontrolle ist serverseitiges Blockieren (IP-Filterung, User-Agent-Regeln in Ihrer Webserver-Konfiguration) in Kombination mit Log-Monitoring zur Wirksamkeitsüberprüfung.
Benötigen Sie kontinuierliche Verifizierung für über 500 Bots? Can AI See It automatisiert dies.
Crawl-Verhalten
Häufigkeit:Continuous
Anfragemuster:Prefetching URLs Likely To Be Requested Next
Zitate aus der offiziellen Dokumentation
"URL prefetching means that Cloudflare pre-populates the cache with content a visitor is likely to request next."
Crawl-Aktivitätsindex
Relative Crawl-Aktivität von Cloudflare Prefetch der letzten 28 Tage. Höhere Werte zeigen eine erhöhte Crawl-Intensität im Vergleich zum Basiszeitraum an.
Aktuelle Aktivitätsdaten anzeigen (letzte 7 Tage)
| Datum | Aktivitätsindex |
|---|---|
| Mar 26, 2026 | 88.0 |
| Mar 27, 2026 | 82.7 |
| Mar 28, 2026 | 83.1 |
| Mar 29, 2026 | 81.8 |
| Mar 30, 2026 | 87.3 |
| Mar 31, 2026 | 90.2 |
| Apr 1, 2026 | 88.8 |
Quelle: Cloudflare Radar
Warum Cloudflare Prefetch-Traffic überwachen?
Kontrollieren Sie die Server-Auswirkungen durch Drittanbieter-Crawling. Cloudflare Prefetch crawlt Ihre Website, um die SEO-Datenbank von Cloudflare aufzubauen. Obwohl nützlich für Wettbewerbsanalysen, können diese Crawler auf großen Websites erhebliche Serverressourcen verbrauchen.
Identifizieren Sie, wer Ihre Website analysiert. Cloudflare Prefetch-Besuche zeigen, wenn Wettbewerber oder Agenturen Audits auf Ihrer Domain durchführen.
Verwalten Sie die Crawl-Priorität. Wenn Cloudflare Prefetch Crawl-Budget verbraucht, das Sie lieber Suchmaschinen zuweisen würden, können Sie es basierend auf gemessenem Volumen drosseln oder blockieren.
Decken Sie 4XX- und 5XX-Fehler auf, bevor Suchmaschinen sie finden. Wenn Cloudflare Prefetch in seinen Crawl-Daten fehlerhafte Seiten oder Serverfehler meldet, können Sie diese Probleme proaktiv beheben — bevor Suchmaschinen-Crawler darauf stoßen und Ihre Rankings leiden.
Lohnt sich Cloudflare Prefetch die Serverressourcen?
Cloudflare Prefetch crawlt Ihre Website, um die SEO-Datenbank von Cloudflare aufzubauen. Anders als Suchmaschinen sendet Ihnen dieser Crawler keinen Referral-Traffic — er speist ein Drittanbieter-Tool.
Das ist nicht unbedingt ein Problem — die Daten von Cloudflare können Tools unterstützen, die Sie selbst nutzen. Die Frage ist, ob das Crawl-Volumen von Cloudflare Prefetch in einem angemessenen Verhältnis zum Nutzen steht.
Was Can AI See It misst
Anfragen pro Tag und von Cloudflare Prefetch verbrauchte Bandbreite
Welchen Prozentsatz Ihres gesamten Bot-Traffics macht Cloudflare Prefetch aus?
Scraper, die den User-Agent-String von Cloudflare Prefetch fälschen
Log-Verifizierung
So verifizieren Sie Cloudflare Prefetch-Traffic in Ihren Live-Traffic-Daten:
- Durchsuchen Sie Zugriffsprotokolle nach den oben aufgeführten User-Agent-Strings
- Prüfen Sie, ob die IP-Adressen mit dokumentierten Bereichen übereinstimmen (falls von Cloudflare bereitgestellt)
- Verifizieren Sie, ob das Crawl-Muster dem dokumentierten Verhalten entspricht
- Verwenden Sie Reverse-DNS-Lookup zur zusätzlichen Verifizierung, falls verfügbar
IP-Verifizierung: Cloudflare bietet eine offizielle IP-Verifizierung über Published IP ranges an. Verifizierungsanleitung anzeigen →
Cloudflare's IP ranges are published for verification
Note: Das beobachtete Verhalten in Produktionsumgebungen kann von der offiziellen Dokumentation abweichen. Live-Traffic-Monitoring bietet die einzige zuverlässige Verifizierung des tatsächlichen Bot-Verhaltens.
Undokumentierte Informationen
Die folgenden Informationen sind für Cloudflare Prefetch nicht offiziell dokumentiert:
- crawl delay
- JavaScript rendering details
Sehen Sie, welche SEO-Tools Ihre Website crawlen — und was sie kosten
- Drittanbieter-Crawler identifizieren, die Ihre Serverressourcen verbrauchen
- SEO-Tool-Traffic von Suchmaschinen-Crawls trennen
- Fake-Bots erkennen, die den User-Agent von Cloudflare Prefetch fälschen
Offizielle Dokumentation
Offizielle Cloudflare Prefetch-Dokumentation anzeigen →
Informationen stammen aus der offiziellen Dokumentation. Inhalt mit KI-Unterstützung erstellt.