Was ist OnCrawl?
Kurzantwort: OnCrawl ist eine Enterprise-SEO-Plattform, die von einem branchenführenden SEO-Crawler und Log Analyzer unterstützt wird und von Oncrawl betrieben wird.
OnCrawl ist ein SEO-Tool zur Erfassung und Analyse technischer SEO-Daten für große oder komplexe Websites. Es hilft Nutzern zu verstehen, wie ihre Website von Suchmaschinen und KI-Agents erkundet, gelesen und interpretiert wird, und wandelt technische Signale in strategische Entscheidungen um. OnCrawl erkennt Zugriffe von KI-Agents und liefert Einblicke in deren Verhalten.
User-Agent-Identifikation
Die folgenden User-Agent-Strings identifizieren OnCrawl in Ihren Live-Traffic-Daten:
Mozilla/5.0 (compatible; OnCrawl Mobile/1.0; +http://www.oncrawl.com/)Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible; OnCrawl Mobile/1.0; +http://www.oncrawl.com/)
robots.txt-Regeln für OnCrawl
Respektiert robots.txt: Nein
Dieser Bot verpflichtet sich nicht, robots.txt zu befolgen
OnCrawl befolgt robots.txt-Anweisungen nicht offiziell. Die einzige zuverlässige Methode zur Zugriffskontrolle ist serverseitiges Blockieren (IP-Filterung, User-Agent-Regeln in Ihrer Webserver-Konfiguration) in Kombination mit Log-Monitoring zur Wirksamkeitsüberprüfung.
Benötigen Sie kontinuierliche Verifizierung für über 500 Bots? Can AI See It automatisiert dies.
Crawl-Verhalten
Häufigkeit:Continuous
Anfragemuster:Not Documented
Zitate aus der offiziellen Dokumentation
"Oncrawl helps you understand how your website is explored, read, and interpreted"
"Oncrawl detects hits from AI agents like OpenAI, Claude, Mistral, and Perplexity."
Crawl-Aktivitätsindex
Relative Crawl-Aktivität von OnCrawl der letzten 28 Tage. Höhere Werte zeigen eine erhöhte Crawl-Intensität im Vergleich zum Basiszeitraum an.
Aktuelle Aktivitätsdaten anzeigen (letzte 7 Tage)
| Datum | Aktivitätsindex |
|---|---|
| Mar 28, 2026 | 47.8 |
| Mar 29, 2026 | 36.1 |
| Mar 30, 2026 | 43.7 |
| Mar 31, 2026 | 50.1 |
| Apr 1, 2026 | 23.2 |
| Apr 2, 2026 | 30.3 |
| Apr 3, 2026 | 23.5 |
Quelle: Cloudflare Radar
Warum OnCrawl-Traffic überwachen?
Kontrollieren Sie die Server-Auswirkungen durch Drittanbieter-Crawling. OnCrawl crawlt Ihre Website, um die SEO-Datenbank von Oncrawl aufzubauen. Obwohl nützlich für Wettbewerbsanalysen, können diese Crawler auf großen Websites erhebliche Serverressourcen verbrauchen.
Identifizieren Sie, wer Ihre Website analysiert. OnCrawl-Besuche zeigen, wenn Wettbewerber oder Agenturen Audits auf Ihrer Domain durchführen.
Verwalten Sie die Crawl-Priorität. Wenn OnCrawl Crawl-Budget verbraucht, das Sie lieber Suchmaschinen zuweisen würden, können Sie es basierend auf gemessenem Volumen drosseln oder blockieren.
Decken Sie 4XX- und 5XX-Fehler auf, bevor Suchmaschinen sie finden. Wenn OnCrawl in seinen Crawl-Daten fehlerhafte Seiten oder Serverfehler meldet, können Sie diese Probleme proaktiv beheben — bevor Suchmaschinen-Crawler darauf stoßen und Ihre Rankings leiden.
Lohnt sich OnCrawl die Serverressourcen?
OnCrawl crawlt Ihre Website, um die SEO-Datenbank von Oncrawl aufzubauen. Anders als Suchmaschinen sendet Ihnen dieser Crawler keinen Referral-Traffic — er speist ein Drittanbieter-Tool.
Das ist nicht unbedingt ein Problem — die Daten von Oncrawl können Tools unterstützen, die Sie selbst nutzen. Die Frage ist, ob das Crawl-Volumen von OnCrawl in einem angemessenen Verhältnis zum Nutzen steht.
Was Can AI See It misst
Anfragen pro Tag und von OnCrawl verbrauchte Bandbreite
Welchen Prozentsatz Ihres gesamten Bot-Traffics macht OnCrawl aus?
Scraper, die den User-Agent-String von OnCrawl fälschen
Log-Verifizierung
So verifizieren Sie OnCrawl-Traffic in Ihren Live-Traffic-Daten:
- Durchsuchen Sie Zugriffsprotokolle nach den oben aufgeführten User-Agent-Strings
- Prüfen Sie, ob die IP-Adressen mit dokumentierten Bereichen übereinstimmen (falls von Oncrawl bereitgestellt)
- Verifizieren Sie, ob das Crawl-Muster dem dokumentierten Verhalten entspricht
- Verwenden Sie Reverse-DNS-Lookup zur zusätzlichen Verifizierung, falls verfügbar
Note: Das beobachtete Verhalten in Produktionsumgebungen kann von der offiziellen Dokumentation abweichen. Live-Traffic-Monitoring bietet die einzige zuverlässige Verifizierung des tatsächlichen Bot-Verhaltens.
Undokumentierte Informationen
Die folgenden Informationen sind für OnCrawl nicht offiziell dokumentiert:
- crawl frequency pattern
- IP verification method
- JavaScript rendering details
Sehen Sie, welche SEO-Tools Ihre Website crawlen — und was sie kosten
- Drittanbieter-Crawler identifizieren, die Ihre Serverressourcen verbrauchen
- SEO-Tool-Traffic von Suchmaschinen-Crawls trennen
- Fake-Bots erkennen, die den User-Agent von OnCrawl fälschen
Offizielle Dokumentation
Offizielle OnCrawl-Dokumentation anzeigen →
Informationen stammen aus der offiziellen Dokumentation. Inhalt mit KI-Unterstützung erstellt.