Was ist AutoRAG?
Kurzantwort: AutoRAG ist Cloudflares KI-Suchlösung zum Indexieren und Abfragen von Daten.
AutoRAG, jetzt als AI Search bekannt, ist Cloudflares verwalteter Suchdienst, der automatisch einen sich kontinuierlich aktualisierenden Index verbundener Datenquellen erstellt. Er unterstützt Abfragen in natürlicher Sprache und integriert sich in die Entwicklerplattform-Tools von Cloudflare. Der Dienst ermöglicht Retrieval-Augmented-Generation-(RAG)-Muster für den Aufbau von Enterprise Search, Sprachsuche und KI-gestütztem Chat.
User-Agent-Identifikation
Die folgenden User-Agent-Strings identifizieren AutoRAG in Ihren Live-Traffic-Daten:
Cloudflare-AutoRAG (https://developers.cloudflare.com/autorag; autorag@cloudflare.com)
robots.txt-Regeln für AutoRAG
Respektiert robots.txt: Ja
Verwenden Sie die folgenden robots.txt-Regeln, um den Zugriff von AutoRAG zu steuern:
# Block AutoRAG
User-agent: Cloudflare-AutoRAG
Disallow: /
# Allow AutoRAG
User-agent: Cloudflare-AutoRAG
Allow: /robots.txt ist eine Anweisung, keine Barriere
Cloudflare gibt an, dass AutoRAG robots.txt respektiert. Allerdings können Konfigurationsfehler, Caching-Verzögerungen und Sonderfälle dazu führen, dass Ihre Anweisungen nicht immer wie erwartet befolgt werden. Live-Traffic-Verifizierung bestätigt, ob AutoRAG Ihre Regeln in der Praxis tatsächlich einhält.
Benötigen Sie kontinuierliche Verifizierung für über 500 Bots? Can AI See It automatisiert dies.
Crawl-Verhalten
Häufigkeit:Continuous
Anfragemuster:Automatically And Continuously Index Data Sources
Zitate aus der offiziellen Dokumentation
"AI Search (formerly AutoRAG) is Cloudflareâs managed search service."
Warum AutoRAG-Traffic überwachen?
Messen Sie, was Cloudflare zurückgibt. AutoRAG ruft Ihre Inhalte für KI-Suche ab — aber sendet Cloudflare Traffic zurück? Verfolgen Sie Referral-Besuche von den KI-Suchprodukten von Cloudflare im Verhältnis zum Content-Verbrauch durch AutoRAG.
Sehen Sie, welche Seiten KI-generierte Antworten speisen. AutoRAG ruft Ihre Inhalte in Echtzeit ab, um Suchergebnisse für das KI-Suchprodukt von Cloudflare zu erstellen. Die Verfolgung dieser Anfragen zeigt Ihnen, welche URLs als Quellen verwendet werden.
Messen Sie Referral-Traffic aus der KI-Suche. Wenn AutoRAG Ihre Seite in einer KI-generierten Antwort zitiert und ein Nutzer durchklickt, ist diese Sitzung nachverfolgbar. Korrelieren Sie AutoRAG-Crawls mit nachfolgenden Besuchen, um Ihre KI-Suchleistung zu verstehen.
Finden Sie Zitationslücken. Wenn AutoRAG bestimmte Seiten häufig abruft, Nutzer aber nie durchklicken, beantwortet Ihr Content die Anfrage möglicherweise vollständig in der KI-Antwort — ohne Grund, Ihre Website zu besuchen. Das ist ein Signal für Ihre Content-Strategie.
Erkennen Sie 4XX- und 5XX-Fehler frühzeitig. Wenn AutoRAG auf fehlerhafte oder nicht verfügbare Seiten stößt, erscheinen Ihre Inhalte nicht in KI-generierten Antworten. Das Erkennen dieser Fehler in Ihren Logs ermöglicht eine Behebung, bevor Sie Sichtbarkeit in KI-Suchergebnissen verlieren.
Vom Crawl zur Conversion: Wie AutoRAG Ihren Umsatz beeinflusst
Der Bot ruft Ihre Inhalte ab, um sie in KI-generierten Suchergebnissen zu verwenden.
Die KI-Suche von Cloudflare zeigt Ihre Seite als Quelle in der Antwort an.
Ein Nutzer, der die KI-Antwort liest, klickt auf Ihren Link und besucht Ihre Website.
Der Besucher registriert sich, kauft, abonniert oder interagiert.
Die meisten Tools hören bei Schritt 2 auf — sie testen Prompts, um zu sehen, ob Ihre Marke in KI-Antworten erscheint. Aber in KI-Antworten zu erscheinen bedeutet nicht, dass Sie Traffic bekommen. Die KI fasst Ihre Inhalte möglicherweise so vollständig zusammen, dass niemand durchklickt.
Die einzige Möglichkeit, die gesamte Pipeline zu messen, besteht darin, die Crawl-Aktivität von AutoRAG in Ihren Live-Traffic-Daten mit Referral-Sitzungen in Ihren Analytics zu verbinden. Genau das macht Can AI See It — einschließlich eines Crawl-to-Referral Ratio (CRR), das zeigt, wie viel Traffic Cloudflare für jeweils 1.000 von AutoRAG gecrawlte Seiten tatsächlich zurücksendet.
Was Can AI See It für AutoRAG misst
Von AutoRAG pro Tag, Woche und Monat abgerufene Seiten
Besuche, die von der KI-Suche von Cloudflare auf Ihre Website gelangen
Ihr KI-Traffic-Effizienzwert — Referrals pro 1.000 Crawls
Umsatz und Ziele, die KI-vermittelten Sitzungen zugeordnet werden
Ohne diese Daten treffen Sie Blockieren-/Erlauben-Entscheidungen blind. Ein Bot mit hohem Crawl-Volumen, aber null Referrals verbraucht nur Ihre Inhalte. Ein Bot mit moderatem Crawling, aber hohem CRR schafft echten Geschäftswert.
Wie unterscheidet sich das von Prompt-Testing-Tools? Prompt-Testing prüft, ob KI Ihre Marke in simulierten Anfragen erwähnt. Can AI See It misst, was tatsächlich passiert: echte Crawls, echte Referrals, echte Conversions — aus Ihren Live-Traffic-Daten.
Lesen: Warum Live-Traffic-Monitoring Prompt-Testing überlegen ist →Log-Verifizierung
So verifizieren Sie AutoRAG-Traffic in Ihren Live-Traffic-Daten:
- Durchsuchen Sie Zugriffsprotokolle nach den oben aufgeführten User-Agent-Strings
- Prüfen Sie, ob die IP-Adressen mit dokumentierten Bereichen übereinstimmen (falls von Cloudflare bereitgestellt)
- Verifizieren Sie, ob das Crawl-Muster dem dokumentierten Verhalten entspricht
- Verwenden Sie Reverse-DNS-Lookup zur zusätzlichen Verifizierung, falls verfügbar
Note: Das beobachtete Verhalten in Produktionsumgebungen kann von der offiziellen Dokumentation abweichen. Live-Traffic-Monitoring bietet die einzige zuverlässige Verifizierung des tatsächlichen Bot-Verhaltens.
Undokumentierte Informationen
Die folgenden Informationen sind für AutoRAG nicht offiziell dokumentiert:
- crawl frequency details
- IP verification method
- JavaScript rendering details
Live-Traffic-Monitoring vs. Prompt-Testing
| Prompt-Testing-Tools | Can AI See It | |
|---|---|---|
| Was gemessen wird | Erwähnt KI Ihre Marke in Test-Prompts? | Führt KI-Bot-Aktivität zu echten Besuchen und Conversions? |
| Datenquelle | Simulierte KI-Anfragen | Ihre Live-Traffic-Daten + Analytics |
| Abgedeckte Bots | ChatGPT, Perplexity, Gemini (nur Chat-Oberflächen) | Über 500 Bots inkl. Crawler, Assistenten und Trainings-Bots |
| Geschäftsmetrik | Häufigkeit der Markenerwähnung | Crawl-to-Referral Ratio, Umsatzzuordnung |
| Sagt Ihnen | "KI erwähnt Sie in 34 % der Fälle für Keyword X" | "AutoRAG hat 8.200 Seiten gecrawlt und Cloudflare hat 290 Besucher gesendet, die 4.100 € Umsatz generiert haben" |
Messen Sie Ihr Crawl-to-Referral Ratio für AutoRAG
Sehen Sie, wie viel Traffic Cloudflare tatsächlich an Ihre Website zurücksendet im Verhältnis zu den Inhalten, die AutoRAG abruft.
- AutoRAG-Crawls in Ihren Logs mit Referral-Sitzungen in Analytics verknüpfen
- Berechnen Sie Ihren CRR — die Metrik, die Prompt-Testing-Tools nicht liefern können
- Datenbasierte Blockieren-/Erlauben-Entscheidungen für jeden KI-Bot treffen
Geschäftlichen Einfluss von AutoRAG messen
Die eigentliche Frage lautet: Führt die Aktivität von AutoRAG zu Referrals, Sitzungen und Conversions auf Ihrer Website?
- Crawls: von AutoRAG abgerufene Seiten
- Referral-Tracking: AutoRAG nimmt — messen Sie, was Cloudflare zurückgibt. Verfolgen Sie tatsächliche Besuche, die von den Produkten von Cloudflare auf Ihre Website gelangen.
- CRR: Ihr Crawl-to-Referral Ratio — Referrals pro 1.000 Crawls
Basierend auf Ihren Live-Traffic-Daten und Analytics — nicht auf synthetischen Prompt-Tests.
Offizielle Dokumentation
Offizielle AutoRAG-Dokumentation anzeigen →
Informationen stammen aus der offiziellen Dokumentation. Inhalt mit KI-Unterstützung erstellt.