So erkennen Sie Bot-Traffic auf Ihrer Website

Zwischen 40 % und 50 % des gesamten Web-Traffics stammt von Bots. Ein Teil davon ist essenziell -- Googlebot indexiert Ihre Seiten fuer die Suche, GPTBot crawlt Ihre Inhalte fuer KI-Produkte, UptimeRobot prueft, ob Ihre Website online ist. Ein anderer Teil ist unerwuenscht -- Scraper stehlen Ihre Inhalte, Fake-Bots faelschen legitime user-agent-Strings, oder aggressive Crawler verbrennen Ihre Server-Ressourcen.

Das Problem ist, dass die meisten Website-Betreiber den Unterschied nicht erkennen koennen. Standard-Analysetools wie Google Analytics verfolgen nur JavaScript-ausfuehrende Besucher, was bedeutet, dass sie den Grossteil des Bot-Traffics komplett uebersehen. Bots, die kein JavaScript ausfuehren -- und das sind die meisten -- sind in Ihrem Analytics-Dashboard unsichtbar.

Hier sind fuenf Methoden zur Erkennung von Bot-Traffic, von der einfachsten bis zur umfassendsten.

Methode 1: Server-Logs pruefen

Jede Anfrage an Ihre Website wird in den Zugriffsprotokollen Ihres Servers aufgezeichnet, unabhaengig davon, ob der Besucher JavaScript ausfuehrt. Dies ist die grundlegendste Quelle der Wahrheit darueber, was auf Ihre Website zugreift.

Ein typischer Apache- oder Nginx-Zugriffsprotokolleintrag sieht so aus:

66.249.66.1 - - [08/Feb/2026:10:15:32 +0000] "GET /pricing/ HTTP/2" 200 14523 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Diese einzelne Zeile zeigt Ihnen die IP-Adresse, die angeforderte Seite, den HTTP-Statuscode und den user-agent-String. Dieser letzte Teil -- der user-agent -- ist die Art, wie sich die meisten Bots identifizieren.

Um einen schnellen Ueberblick ueber die Bot-Aktivitaet zu erhalten, koennen Sie Ihre Logs nach bekannten Bot-user-agent-Strings durchsuchen:

grep -i "bot\|crawler\|spider" /var/log/nginx/access.log | awk '{print $14}' | sort | uniq -c | sort -rn | head -20

Das gibt Ihnen eine Rangliste der aktivsten Bots. Es ist ein grober Ausgangspunkt, aber es funktioniert -- und es ist kostenlos.

Einschraenkungen: Manuelle Log-Analyse skaliert nicht. Wenn Ihre Website Millionen von Anfragen erhaelt, wird das Parsen von Roh-Logs unpraktikabel. Ausserdem koennen Sie user-agent-Strings nicht fuer bare Muenze nehmen -- jeder kann seinen user-agent auf "Googlebot" setzen. Und nicht jeder hat direkten Zugriff auf Server-Logs, besonders bei Managed Hosting oder serverlosen Plattformen.

Methode 2: User-Agent-Strings analysieren

Der user-agent-String ist die primaere Art, wie sich legitime Bots ankuendigen. Die meisten serioesen Crawler enthalten ihren Namen, ihre Version und einen Link zur Dokumentation. Zum Beispiel:

• Googlebot: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
• AhrefsBot: Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)
• GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)

User-Agent-Analyse ist nuetzlich, um zu identifizieren, welche Bots Ihre Website besuchen und wie oft. Sie koennen ein Bild Ihrer Bot-Traffic-Zusammensetzung erstellen: Welcher Anteil sind Suchmaschinen-Crawler, welcher Anteil sind KI-Bots, welcher Anteil sind SEO-Tools und so weiter.

Die Herausforderung ist die Skalierung. Es gibt Hunderte bekannter Bots im Web, jeder mit eigenen user-agent-Mustern. Einige Bots verwenden mehrere user-agent-Strings. Manche aendern ihre Strings zwischen Versionen. Eine aktuelle Datenbank bekannter Bot-Signaturen zu pflegen ist ein erheblicher, fortlaufender Aufwand.

Und ganz entscheidend: user-agent-Strings koennen gefaelscht werden. Ein Scraper kann seinen user-agent einfach auf Googlebot/2.1 setzen und Ihre User-Agent-Analyse zaehlt ihn als legitimen Google-Traffic. Was uns zur naechsten Methode bringt.

Methode 3: Bot-Identitaet mit Reverse DNS verifizieren

Hier wird die Bot-Erkennung ernst. Wenn eine Anfrage behauptet, von Googlebot zu stammen, koennen Sie dies ueberpruefen, indem Sie feststellen, ob die Quell-IP tatsaechlich zu Google gehoert.

Das Standardverfahren ist ein Forward-Confirmed Reverse DNS (FCrDNS) Lookup:

1. Nehmen Sie die IP-Adresse der Anfrage und fuehren Sie einen Reverse-DNS-Lookup durch
2. Pruefen Sie, ob der resultierende Hostname zur erwarteten Domain gehoert (z. B. *.googlebot.com oder *.google.com fuer Googlebot)
3. Fuehren Sie einen Forward-DNS-Lookup auf diesen Hostnamen durch, um zu bestaetigen, dass er zur urspruenglichen IP zurueckfuehrt

# Schritt 1: Reverse DNS
host 66.249.66.1
# Ergebnis: crawl-66-249-66-1.googlebot.com

# Schritt 2: Forward DNS zur Bestaetigung
host crawl-66-249-66-1.googlebot.com
# Ergebnis: 66.249.66.1 - Uebereinstimmung bestaetigt

Wenn der Reverse DNS nicht zu einer Domain des Bot-Betreibers aufloest, oder wenn der Forward-Lookup nicht uebereinstimmt, ist die Anfrage wahrscheinlich ein Fake-Bot.

Verschiedene Bot-Betreiber verwenden unterschiedliche Verifizierungsmethoden. Google veroeffentlicht seine IP-Bereiche. Bing verwendet *.search.msn.com-Hostnamen. Einige Betreiber wie OpenAI veroeffentlichen IP-Listen, gegen die Sie direkt pruefen koennen. Jeder Bot hat seinen eigenen Verifizierungsansatz, der in seinem Betreiberprofil dokumentiert ist.

Einschraenkungen: Reverse-DNS-Lookups fuegen Latenz hinzu und koennen nicht bei jeder Anfrage in Echtzeit bei hohem Traffic-Volumen durchgefuehrt werden. Jeder Bot-Betreiber verwendet eine andere Verifizierungsmethode, sodass Sie bot-spezifische Verifizierungslogik pflegen muessen. Und einige kleinere Bots veroeffentlichen ueberhaupt keine Verifizierungsmethoden.

Methode 4: Verhaltenssignale beobachten

Ueber die Identitaetsverifizierung hinaus hat Bot-Traffic oft eindeutige Verhaltensmuster, die sich von menschlichen Besuchern unterscheiden. Darauf sollten Sie achten:

Anfragemuster

• Unnatuerlich gleichmaessiges Timing. Bots stellen oft Anfragen in praezisen Intervallen -- genau alle 5 Sekunden, alle 30 Sekunden. Menschen surfen nicht mit dieser Art von Regelmaessigkeit.
• Sequenzielles URL-Crawling. Ein Bot koennte /page-1, /page-2, /page-3 der Reihe nach abrufen. Menschen springen nach Interesse.
• Hohe Anfragerate von einer einzelnen IP. Hunderte von Anfragen pro Minute von einer Adresse sind fast sicher automatisiert.
• Keine Referrer-Header. Die meisten menschlichen Besuche kommen von einer Suchmaschine, einem Social-Media-Link oder einer anderen Seite. Direkte Anfragen ohne Referrer bei hohem Volumen deuten auf Automatisierung hin.

Technische Fingerabdruecke

• Keine JavaScript-Ausfuehrung. Die meisten Bots fuehren kein JavaScript aus. Wenn ein Besucher eine Seite laedt, aber nie Client-seitigen Code ausfuehrt, ist es wahrscheinlich ein Bot.
• Fehlende oder ungewoehnliche Header. Legitime Browser senden einen konsistenten Satz von HTTP-Headern (Accept-Language, Accept-Encoding usw.). Bots senden oft unvollstaendige oder nicht-standardmaessige Header.
• Keine Cookies oder Sitzungsverhalten. Bots pflegen typischerweise keine Cookies zwischen Anfragen, es sei denn, sie sind speziell darauf ausgelegt, Browser-Sitzungen zu simulieren.
• Anfragen nach robots.txt oder sitemap.xml. Legitime Crawler fragen diese Dateien typischerweise vor dem Crawling an. Ein Besucher mit hohem Volumen, der nie robots.txt anfragt, koennte ein Scraper sein, der Ihre Crawl-Direktiven komplett ignoriert.

Zugriffsmuster

• Gezielte Inhaltstypen. Ein Bot, der Ihre Produktseiten haemmert und alles andere ignoriert, koennte ein Preis-Scraper sein. Ein Bot, der sich auf Ihre Blog-Inhalte konzentriert, koennte ein KI-Trainings-Crawler sein.
• Zugriff auf Seiten, die Menschen selten besuchen. Tiefe Paginierung, alte Archivseiten oder URLs, die nur ueber Ihre Sitemap auffindbar sind -- hoher Traffic auf diesen Seiten deutet auf automatisiertes Crawling hin.

Einschraenkungen: Verhaltensanalyse erkennt Muster, nicht einzelne Anfragen. Sie erfordert das Sammeln und Aggregieren von Daten ueber Zeit und den Aufbau einer eigenen Analyse-Pipeline. Die meisten Website-Betreiber haben nicht die Infrastruktur, um dies in grossem Massstab zu tun.

Methode 5: Eine dedizierte Bot-Monitoring-Plattform nutzen

Die Methoden 1 bis 4 funktionieren alle, haben aber das gleiche grundlegende Problem: Sie muessen die gesamte Erkennungspipeline selbst aufbauen und pflegen. Sie brauchen Log-Zugriff, eine aktuelle Bot-Datenbank, bot-spezifische Verifizierungslogik und eine Analyseschicht darueber. Fuer die meisten Teams ist das langfristig nicht realistisch.

Eine dedizierte Bot-Monitoring-Plattform uebernimmt dies End-to-End. Dafuer haben wir Can AI See It (CASI) entwickelt. So loest ein Plattform-Ansatz die Einschraenkungen der manuellen Erkennung:

Doch Erkennung allein beantwortet nicht die wichtigste Frage: Ist dieser Bot-Traffic tatsaechlich wertvoll? Hier geht der Ansatz ueber das hinaus, was Log-Analyse jemals leisten kann.

CASI verfolgt nicht nur, welche Bots Ihre Website crawlen, sondern auch, wie viel Referral-Traffic die zugehoerigen Plattformen zuruecksenden. Wenn GPTBot letzten Monat 8.000 Ihrer Seiten heruntergeladen hat -- haben OpenAIs Produkte dafuer Besucher zurueckgeschickt? Das Crawl-to-Referral Ratio (CRR) -- Referral-Besuche pro 1.000 Crawls -- gibt Ihnen diese Antwort fuer jeden Bot einzeln. Es verwandelt reine Erkennungsdaten in eine Grundlage fuer echte Entscheidungen darueber, welche Bots Sie erlauben und welche Sie blockieren sollten.

Gute Bots vs. schlechte Bots: Erkennung ist nicht nur Blockierung

Ein haeufiger Fehler ist, alle Bot-Erkennung als Sicherheitsuebung zu betrachten -- Bots finden, blockieren. Aber ein grosser Teil des Bot-Traffics ist wertvoll oder zumindest harmlos:

Das Ziel der Bot-Traffic-Erkennung ist nicht, alles zu blockieren, was nicht menschlich ist. Es ist, Sichtbarkeit zu gewinnen -- genau zu wissen, was auf Ihre Website zugreift, zu verifizieren, dass es das ist, was es vorgibt zu sein, und fundierte Entscheidungen darueber zu treffen, was Sie erlauben.

Das Fake-Bot-Problem

Fake-Bots sind Anfragen, die vorgeben, ein bekannter Crawler zu sein, aber tatsaechlich von einer voellig anderen Quelle stammen. Ein Scraper koennte seinen user-agent auf Googlebot/2.1 setzen, weil viele Websites Googlebot-Traffic auf die Whitelist setzen und damit Rate-Limits oder Paywalls umgehen.

Das kommt haeufiger vor, als die meisten Website-Betreiber ahnen. Ohne Verifizierung haben Sie keine Moeglichkeit festzustellen, dass 15 % Ihres "Googlebot"-Traffics tatsaechlich Scraper sind, die sich hinter Googles Namen verstecken.

Fake-Bot-Traffic verursacht mehrere Probleme:

• Verunreinigte Analysen. Wenn Sie Bot-Traffic messen, um Entscheidungen zu treffen (z. B. welche Crawler in robots.txt erlaubt werden), fuehren Fake-Bot-Daten zu falschen Schlussfolgerungen.
• Sicherheitsrisiko. Fake-Bots werden oft fuer Scraping, Schwachstellen-Scanning oder Credential Stuffing eingesetzt -- Aktivitaeten, die hinter einer vertrauenswuerdigen Identitaet verborgen sind.
• Verschwendete Ressourcen. Ihr Server beantwortet Fake-Bot-Anfragen genauso wie echte und verbraucht Bandbreite und Rechenleistung fuer null Nutzen.

Der einzig zuverlaessige Weg, Fake-Bots zu erkennen, ist automatisierte Verifizierung -- Reverse DNS, IP-Bereichspruefung und vom Betreiber veroeffentlichte Validierungsmethoden -- konsistent auf jede Anfrage angewandt. CASI erkennt Fake-Bots automatisch, sodass Sie genau sehen, wie viel Ihres "Googlebot"- oder "GPTBot"-Traffics echt ist und wie viel gefaelscht.

Was tun, nachdem Sie Bot-Traffic erkannt haben

Erkennung ist der erste Schritt. Sobald Sie Einblick in Ihren Bot-Traffic haben, koennen Sie so darauf reagieren:

1. Ihre robots.txt ueberpruefen

Da Sie jetzt wissen, welche Bots auf Ihrer Website aktiv sind, pruefen Sie, ob Ihre robots.txt Ihre tatsaechlichen Praeferenzen widerspiegelt. Blockieren Sie Bots, die Sie erlauben moechten? Erlauben Sie Bots, die Sie lieber blockieren wuerden? CASIs robots.txt-Monitoring verfolgt Aenderungen an Ihrer Datei und erkennt Inkonsistenzen -- etwa einen Bot, der in robots.txt blockiert ist, aber dennoch Ihre Website crawlt. Fuer praktische robots.txt-Regeln lesen Sie unseren Leitfaden zum Blockieren von KI-Crawlern.

2. Fake-Bots untersuchen

Wenn Ihr Verifizierungsprozess gefaelschten Googlebot- oder GPTBot-Traffic aufdeckt, rechtfertigen diese Anfragen eine genauere Untersuchung. Schauen Sie, auf welche Seiten sie zugreifen, wie haeufig und von welchen IP-Bereichen. Dieser Traffic ist fast nie gutartig.

3. Den Wert legitimer Bots messen

Besonders fuer KI-Crawler ist die Erkennung nur der Anfang. Die naechste Frage lautet: Fuehrt das Crawling zu echten Besuchen? CASIs KI-Referral-Tracking misst genau, wie viele menschliche Besucher von KI-Plattformen kommen -- ChatGPT, Perplexity, Google AI Overviews und anderen. Kombiniert mit dem Crawl-to-Referral Ratio ergibt sich eine objektive Grundlage fuer Ihre Erlauben/Blockieren-Entscheidungen, statt zu raten.

4. Ueberwachen, was Bots tatsaechlich konsumieren

Zu wissen, dass ein Bot crawlt, ist nuetzlich. Zu wissen, was er crawlt, ist nuetzlicher. CASIs Pfadanalyse zeigt, welche Seiten und Bereiche jeder Bot am meisten besucht, sodass Sie sehen koennen, ob KI-Crawler Ihre hochwertigen Inhalte konsumieren oder Zeit auf Seiten mit geringem Wert verschwenden. Wenn Bots Ihr Crawl-Budget fuer alte Archivseiten aufbrauchen und Ihre Kerninhalte ignorieren, ist das verwertbare Erkenntnis.

5. Fortlaufendes Monitoring einrichten

Bot-Traffic ist nicht statisch. Neue Crawler erscheinen, bestehende aendern ihr Verhalten, und Ihre Traffic-Muster verschieben sich. Ein einmaliges Log-Audit ist nuetzlich, aber nicht ausreichend. CASI sendet regelmaessige Berichte und Warnungen -- wenn ein Bot, der blockiert sein sollte, Ihre robots.txt ignoriert, wenn Ihre Fehlerquote fuer Bot-Anfragen steigt, oder wenn ein neuer Crawler beginnt, Ihre Website aggressiv zu besuchen.

Das Fazit

Bot-Traffic erkennen laeuft auf drei Ebenen hinaus: Identifizierung (wer behauptet zu besuchen), Verifizierung (sind sie wirklich, wer sie vorgeben zu sein) und Analyse (was tun sie und ist es wertvoll).

Server-Logs und User-Agent-Analyse bringen Sie auf den Weg. Reverse DNS und Verhaltensanalyse erhoehen die Sicherheit. Aber um alle drei Ebenen in grossem Massstab durchzufuehren -- Identifizierung, Verifizierung und fortlaufende Analyse ueber 800+ Bots -- brauchen Sie eine dedizierte Monitoring-Plattform.

Die Websites, die die KI-Aera am besten meistern, sind nicht die, die alles blockieren oder alles erlauben -- sondern die, die tatsaechlich sehen koennen, was passiert, und Entscheidungen auf Basis von Daten treffen.