Was ist New York Times Newsgathering?
Kurzantwort: Der New York Times Newsgathering-Bot sammelt öffentliche, urheberrechtsfreie Daten für die Redaktion.
Der New York Times Newsgathering-Bot wird von Entwicklern innerhalb der NYT-Redaktion verwendet, um öffentliche, urheberrechtsfreie Daten von Regierungs- und kommerziellen Websites zu sammeln. Er wird für Aufgaben wie Archivprojekte und die Datenerhebung für den öffentlichen Dienst eingesetzt, einschließlich Seiten zu den U.S. Elections und Covid-19-Trackern. Der Bot folgt den Best Practices der Branche, einschließlich der Kontrolle des Anfragevolumens, Drosselung und Identifikation mit benutzerdefinierten UserAgents und X-Headern.
User-Agent-Identifikation
Die folgenden User-Agent-Strings identifizieren New York Times Newsgathering in Ihren Live-Traffic-Daten:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36 nyt_scraping/scraping@nytimes.com
robots.txt-Regeln für New York Times Newsgathering
Respektiert robots.txt: Nein
robots.txt hat bei nutzer-initiierten Bots eingeschränkte Wirkung
New York Times Newsgathering wird durch Nutzeraktionen innerhalb der Produkte von The New York Times ausgelöst. Obwohl The New York Times angibt, robots.txt zu respektieren, arbeitet der Bot anders als autonome Crawler — er ruft bestimmte URLs auf Anfrage ab, anstatt Ihre Website systematisch zu durchsuchen. Server-Log-Monitoring ist die einzige zuverlässige Methode, um das tatsächliche Verhalten zu überprüfen.
Benötigen Sie kontinuierliche Verifizierung für über 500 Bots? Can AI See It automatisiert dies.
Crawl-Verhalten
Häufigkeit:Not Documented
Anfragemuster:Not Documented
Zitate aus der offiziellen Dokumentation
"Coders within The New York Times newsroom write scripts and scrapers that collect public, non-copyright data from government and commercial websites, ranging from archival tasks to public-service data like our U.S. Elections pages and Covid-19 trackers."
"We bake-in industry best practices like controlling the volume of requests, throttling/concurrency and identifying our work with custom UserAgents and X-headers."
Crawl-Aktivitätsindex
Relative Crawl-Aktivität von New York Times Newsgathering der letzten 28 Tage. Höhere Werte zeigen eine erhöhte Crawl-Intensität im Vergleich zum Basiszeitraum an.
Aktuelle Aktivitätsdaten anzeigen (letzte 7 Tage)
| Datum | Aktivitätsindex |
|---|---|
| Mar 26, 2026 | 88.0 |
| Mar 27, 2026 | 82.7 |
| Mar 28, 2026 | 83.1 |
| Mar 29, 2026 | 81.8 |
| Mar 30, 2026 | 87.3 |
| Mar 31, 2026 | 90.2 |
| Apr 1, 2026 | 88.9 |
Quelle: Cloudflare Radar
Warum New York Times Newsgathering-Traffic überwachen?
Identifizieren und klassifizieren Sie unbekannte Crawler-Aktivitäten. New York Times Newsgathering kann in Ihren Live-Traffic-Daten mit unterschiedlicher Häufigkeit auftauchen. Die Verfolgung seines Verhaltens hilft Ihnen, basierend auf tatsächlichen Daten zu entscheiden, ob Sie ihn erlauben, drosseln oder blockieren.
Schützen Sie Ihr Crawl-Budget. Jede Bot-Anfrage verbraucht Serverressourcen. Das Verständnis dessen, was New York Times Newsgathering crawlt, hilft Ihnen, die wichtigen Crawler zu priorisieren.
Log-Verifizierung
So verifizieren Sie New York Times Newsgathering-Traffic in Ihren Live-Traffic-Daten:
- Durchsuchen Sie Zugriffsprotokolle nach den oben aufgeführten User-Agent-Strings
- Prüfen Sie, ob die IP-Adressen mit dokumentierten Bereichen übereinstimmen (falls von The New York Times bereitgestellt)
- Verifizieren Sie, ob das Crawl-Muster dem dokumentierten Verhalten entspricht
- Verwenden Sie Reverse-DNS-Lookup zur zusätzlichen Verifizierung, falls verfügbar
Note: Das beobachtete Verhalten in Produktionsumgebungen kann von der offiziellen Dokumentation abweichen. Live-Traffic-Monitoring bietet die einzige zuverlässige Verifizierung des tatsächlichen Bot-Verhaltens.
Undokumentierte Informationen
Die folgenden Informationen sind für New York Times Newsgathering nicht offiziell dokumentiert:
- crawl frequency
- request pattern
- JavaScript rendering details
Offizielle Dokumentation
Offizielle New York Times Newsgathering-Dokumentation anzeigen →
Informationen stammen aus der offiziellen Dokumentation. Inhalt mit KI-Unterstützung erstellt.