Crawl-to-Referral Ratio: Lohnt sich Bot-Traffic wirklich?

Jeden Tag laden KI-Crawler Tausende von Seiten Ihrer Website herunter. GPTBot ruft Ihre Artikel ab. PerplexityBot indexiert Ihre Produktseiten. Googlebot crawlt Ihre gesamte Website erneut. Jede dieser Anfragen verbraucht Server-Ressourcen -- Bandbreite, Rechenleistung und Crawl-Budget.

Doch hier ist die Frage, die bis vor Kurzem niemand beantworten konnte: Wie viel Traffic senden diese Bots tatsaechlich zurueck?

Das Crawl-to-Referral Ratio (CRR) beantwortet diese Frage mit einer einzigen Zahl. Es misst, wie viele echte menschliche Besuche die zugehoerige Plattform eines Bots pro 1.000 Crawl-Anfragen an Ihre Website sendet. Es ist die Metrik, die Bot-Traffic von einem Raetsel in einen messbaren Business-Input verwandelt.

Was ist das Crawl-to-Referral Ratio?

CRR ist ein einfaches Verhaeltnis, das zwei Datenpunkte verbindet, die die meisten Website-Betreiber noch nie verglichen haben:

1. Crawl-Volumen -- wie viele Anfragen ein bestimmter Bot in einem bestimmten Zeitraum an Ihre Website stellt
2. Referral-Besuche -- wie viele echte menschliche Besucher im selben Zeitraum von der zugehoerigen Plattform dieses Bots kommen

Die Formel:

CRR = (Referral-Besuche von der Plattform / Crawl-Anfragen des Bots) x 1.000

Zum Beispiel: Wenn GPTBot in einem Monat 10.000 Anfragen an Ihre Website stellt und ChatGPT Ihnen im selben Monat 5 Referral-Besuche sendet, betraegt Ihr GPTBot-CRR 0,5 -- ein halber Besuch pro tausend Crawls.

Wenn PerplexityBot 3.000 Anfragen stellt und Perplexity Ihnen 105 Besuche sendet, betraegt der CRR 35 -- 35 Besuche pro tausend Crawls.

Dieser Unterschied -- 0,5 vs. 35 -- sagt Ihnen etwas Wichtiges darueber, welche Crawler-Beziehungen sich tatsaechlich lohnen.

Warum CRR wichtiger ist als Crawl-Volumen allein

Die meisten Bot-Traffic-Analysen enden beim Crawl-Volumen: "GPTBot hat letzten Monat 12.000 Anfragen gestellt." Diese Zahl sagt Ihnen, dass etwas passiert, aber nicht, ob es gut oder schlecht ist. Ein Bot, der 12.000 Anfragen stellt, koennte:

• Ein Modell trainieren, das Ihre Marke Millionen von Nutzern empfehlen wird
• Ihre Inhalte konsumieren, ohne jemals einen einzigen Besuch zurueckzusenden
• Ihr Crawl-Budget fuer Seiten verschwenden, die nicht relevant sind

Ohne die Referral-Seite der Gleichung ist Crawl-Volumen nur Rauschen. CRR liefert das Signal.

Das ist besonders relevant fuer KI-Crawler. Traditionelle Suchmaschinen-Crawler haben einen gut verstandenen Wertaustausch: Googlebot crawlt Ihre Seiten, Google indexiert sie, Nutzer finden sie in den Suchergebnissen und klicken durch. Der CRR fuer Googlebot ist typischerweise hoch -- Hunderte oder Tausende von Besuchen pro tausend Crawls fuer Websites mit guten Suchrankings.

KI-Crawler folgen diesem Muster nicht einheitlich. Einige KI-Produkte enthalten Quellenlinks, auf die Nutzer klicken koennen. Andere generieren Antworten aus Ihren Inhalten ohne Quellenangabe. CRR macht diesen Unterschied sichtbar und messbar.

CRR nach Bot-Kategorie: Was die Zahlen zeigen

Waehrend die genauen CRR-Werte je nach Website, Branche und Zeitraum variieren, zeigen sich klare Muster ueber Bot-Kategorien hinweg:

Diese Bereiche sind richtungsweisend, nicht absolut. Ihre tatsaechlichen CRR-Werte haengen von der Qualitaet Ihrer Inhalte, der thematischen Relevanz, den Suchrankings und davon ab, wie prominent KI-Produkte Ihre Inhalte in ihren Antworten praesentieren. Es geht nicht um die exakte Zahl, sondern um den relativen Unterschied zwischen den Kategorien -- der ist durchgehend deutlich.

So berechnen Sie CRR fuer Ihre Website

Die Berechnung von CRR erfordert zwei Datenquellen, die die meisten Analyse-Setups nicht kombinieren:

1. Crawl-Daten (serverseitig)

Sie muessen wissen, wie viele Anfragen jeder Bot an Ihre Website stellt. Diese Information stammt aus Server-Logs oder einem Monitoring-Tool auf CDN-Ebene. Standard-Analyseplattformen wie Google Analytics erfassen keine Bot-Anfragen -- sie sehen nur JavaScript-ausfuehrende Besucher, was praktisch alle Bots ausschliesst.

Fuer jeden Bot benoetigen Sie: den user-agent-String, die Anzahl der Anfragen und idealerweise die besuchten Seiten. Ausserdem muessen Sie verifizieren, dass der Bot authentisch ist -- eine CRR-Berechnung auf Basis von gefaelschtem Bot-Traffic liefert bedeutungslose Zahlen.

2. Referral-Daten (Analytics-seitig)

Sie muessen wissen, wie viele menschliche Besucher von jeder KI-Plattform kommen. Das bedeutet, Referral-Quellen von Domains wie diesen zu verfolgen:

• chat.openai.com und chatgpt.com (ChatGPT)
• perplexity.ai (Perplexity)
• gemini.google.com (Gemini)
• copilot.microsoft.com (Copilot)
• claude.ai (Claude)

Einige KI-Referrals uebertragen keine sauberen Referrer-Header, und manche kommen ueber Zwischen-URLs. Die vollstaendige Erfassung aller KI-Referral-Besuche erfordert dediziertes Tracking -- ein Standard-Google-Analytics-Setup kann erheblich unterzaehlen.

3. Die beiden verbinden

Sobald Sie beide Datensaetze fuer denselben Zeitraum haben, ist die Berechnung unkompliziert: Teilen Sie die Referral-Besuche durch die Crawl-Anfragen und multiplizieren Sie mit 1.000. Tun Sie dies pro Bot oder pro Plattformbetreiber fuer die aussagekraeftigste Ansicht.

Die Herausforderung ist nicht die Mathematik -- sondern beide Datensaetze an einem Ort zusammenzufuehren. Genau dafuer wurde Can AI See It (CASI) entwickelt: Es erfasst Crawl-Daten und Referral-Daten vom selben Integrationspunkt, berechnet CRR automatisch und stellt es pro Bot dar.

CRR fuer Block/Allow-Entscheidungen nutzen

CRR verwandelt die Block-oder-Erlauben-Frage von einer philosophischen Debatte in eine datengetriebene Entscheidung. Hier ist ein praktisches Framework:

CRR nahe Null: Blockierung erwaegen

Wenn ein Bot Tausende von Anfragen pro Monat stellt und seine Plattform im Wesentlichen null Traffic zuruecksendet, befinden Sie sich in einer einseitigen Beziehung. Der Bot-Betreiber profitiert von Ihren Inhalten; Sie erhalten nichts ausser verbrauchten Server-Ressourcen.

Dies ist das typische Profil reiner KI-Trainings-Crawler. Sie in der robots.txt zu blockieren ist risikoarm, da es keinen Referral-Traffic zu verlieren gibt.

Einschraenkung: Selbst bei einem CRR von Null kann ein indirekter Wert bestehen. Wenn ein KI-Modell, das auf Ihren Inhalten trainiert wurde, Ihre Marke in Gespraechen empfiehlt, ist das Bekanntheit -- nur nicht durch Referral-Links messbar. Aber ohne eine Moeglichkeit der Messung handeln Sie auf Hoffnung statt auf Daten.

CRR im Bereich 5-50: Erlauben und optimieren

Ein moderater CRR bedeutet, dass die Plattform des Bots echten Traffic sendet. Dies ist das Profil von KI-Suchprodukten, die Quellenangaben enthalten -- Nutzer sehen Ihre Inhalte in KI-generierten Antworten zitiert und klicken durch.

Fuer diese Bots verschiebt sich die Strategie von "Soll ich blockieren?" zu "Wie hole ich mehr aus diesem Kanal?" Hier wird Generative Engine Optimization (GEO) relevant -- die Optimierung Ihrer Inhalte, um prominenter in KI-generierten Antworten zitiert zu werden.

CRR ueber 50: Diesen Kanal priorisieren

Ein hoher CRR bedeutet, dass die Plattform eines Bots eine effiziente Traffic-Quelle im Verhaeltnis zur Crawl-Last ist, die sie erzeugt. Traditionelle Suchmaschinen liegen oft in diesem Bereich, und einige KI-Suchprodukte naehern sich dem fuer Websites mit starker thematischer Autoritaet.

Behandeln Sie Bots mit hohem CRR so, wie Sie Googlebot behandeln: Stellen Sie sicher, dass sie auf Ihre besten Inhalte zugreifen koennen, ueberwachen Sie Crawl-Fehler und optimieren Sie fuer die Content-Praeferenzen der Plattform.

CRR im Zeitverlauf: Ein Fruehindikator

CRR ist am wertvollsten als Trendmetrik, nicht als Momentaufnahme. Das KI-Oekosystem entwickelt sich schnell, und die Beziehung zwischen Crawling und Referrals aendert sich damit.

Szenarien, auf die Sie achten sollten:

• Steigender CRR: Eine KI-Plattform sendet mehr Traffic relativ zu ihrem Crawl-Volumen. Dies koennte bedeuten, dass die Plattform mehr Nutzer gewinnt, die Quellenattribution verbessert oder Ihre Inhalte prominenter praesentiert. Blockieren Sie diesen Bot nicht.
• Fallender CRR: Eine Plattform crawlt mehr, sendet aber weniger Traffic. Die Plattform hat moeglicherweise geaendert, wie sie Quellen zuordnet, oder Ihre Inhalte werden zurueckgestuft. Untersuchen Sie die Ursache, bevor Sie den Zugang einschraenken.
• Neuer Bot, CRR bei Null: Ein neuer KI-Crawler erscheint auf Ihrer Website ohne zugehoerigen Referral-Traffic. Das ist normal fuer neue Produkte. Beobachten Sie ihn 2-3 Monate, bevor Sie eine Blockierungsentscheidung treffen -- die Referral-Pipeline braucht moeglicherweise Zeit, um sich aufzubauen.
• CRR-Anstieg nach GEO-Arbeit: Wenn Sie in GEO-Optimierung investiert haben und CRR fuer bestimmte KI-Bots steigt, funktioniert Ihre Optimierung. Dies ist die Feedbackschleife, die Ihre Content-Strategie validiert.

Die Grenzen von CRR

CRR ist eine aussagekraeftige Metrik, erfasst aber nicht alles:

• Markenerwaehnung ohne Links. Ein KI-Modell kann Ihr Produkt namentlich empfehlen, ohne einen klickbaren Link einzufuegen. CRR zaehlt dafuer Null, obwohl es einen Wert hat. Prompt-Testing-Tools koennen CRR ergaenzen, indem sie diese Art von Sichtbarkeit messen.
• Indirekter Traffic. Ein Nutzer hoert ueber einen KI-Assistenten von Ihrer Marke, googelt spaeter Ihren Namen und kommt ueber die organische Suche. CRR ordnet dies Google zu, nicht der KI-Plattform. Die tatsaechliche Einflusskette ist unsichtbar.
• Inhaltswert jenseits von Traffic. Fuer einige Websites ist es wertvoll, in KI-Trainingsdaten enthalten zu sein, auch ohne direkte Referrals -- es erhoeht die Chance, dass KI-Modelle die Marke in Gespraechen empfehlen.
• Website-spezifische Variation. Der CRR eines Bots auf Ihrer Website spiegelt die Relevanz und Qualitaet Ihrer Inhalte im Kontext dieser Plattform wider, nicht das allgemeine Verhalten des Bots. Zwei Websites in derselben Branche koennen sehr unterschiedliche CRR-Werte fuer denselben Bot haben.

Nutzen Sie CRR als Ihr primaeres quantitatives Signal, kombinieren Sie es aber mit qualitativer Einschaetzung Ihrer KI-Sichtbarkeitsstrategie.

Das Fazit

Das Crawl-to-Referral Ratio beantwortet eine Frage, die mit wachsendem KI-Traffic jeden Monat wichtiger wird: Ist dieser Bot die Ressourcen wert, die er verbraucht?

Fuer Suchmaschinen-Crawler war die Antwort immer offensichtlich ja -- sie treiben Ihren organischen Traffic an. Fuer KI-Crawler variiert die Antwort enorm. Einige KI-Bots liefern messbaren Referral-Traffic. Andere konsumieren Inhalte in grossem Massstab, ohne einen einzigen Besuch zurueckzusenden. CRR macht den Unterschied sichtbar.

Messen Sie es. Verfolgen Sie es im Zeitverlauf. Und nutzen Sie es, um robots.txt-Entscheidungen auf Basis von Evidenz statt Annahmen darueber zu treffen, welche Bots "gut" oder "schlecht" sind.