Was ist MediaMonitoringBot?
Kurzantwort: MediaMonitoringBot ist ein von MediaMonitoringBot betriebener Webcrawler, der Websites von Nachrichten- und Medienverlagen indexiert.
MediaMonitoringBot crawlt und indexiert Websites von Nachrichten- und Medienverlagen nach neuen Inhalten und versucht, diese mit von Kunden (Abonnenten) bereitgestellten Schlüsselwörtern abzugleichen und ihnen auf dieser Grundlage Updates zu senden. Er verwendet eine spezifische user-agent-Zeichenfolge und befolgt robots.txt-Anweisungen aus der Datenbank.
User-Agent-Identifikation
Die folgenden User-Agent-Strings identifizieren MediaMonitoringBot in Ihren Live-Traffic-Daten:
MediaMonitoringBot/1.1 (+https://mediamonitoringbot.com/crawler; crawler@mediamonitoringbot.com)
robots.txt-Regeln für MediaMonitoringBot
Respektiert robots.txt: Ja
Verwenden Sie die folgenden robots.txt-Regeln, um den Zugriff von MediaMonitoringBot zu steuern:
# Block MediaMonitoringBot
User-agent: MediaMonitoringBot
Disallow: /
# Allow MediaMonitoringBot
User-agent: MediaMonitoringBot
Allow: /robots.txt ist eine Anweisung, keine Barriere
MediaMonitoringBot gibt an, dass MediaMonitoringBot robots.txt respektiert. Allerdings können Konfigurationsfehler, Caching-Verzögerungen und Sonderfälle dazu führen, dass Ihre Anweisungen nicht immer wie erwartet befolgt werden. Live-Traffic-Verifizierung bestätigt, ob MediaMonitoringBot Ihre Regeln in der Praxis tatsächlich einhält.
Benötigen Sie kontinuierliche Verifizierung für über 500 Bots? Can AI See It automatisiert dies.
Crawl-Verhalten
Häufigkeit:Not Documented
Anfragemuster:Not Documented
Zitate aus der offiziellen Dokumentation
"MediaMonitoringBot crawls and indexes news and media publishers websites for a new materials and try to match it against keywords provided by our customers (subscribers) and send them updates based on that information."
Warum MediaMonitoringBot-Traffic überwachen?
Identifizieren und klassifizieren Sie unbekannte Crawler-Aktivitäten. MediaMonitoringBot kann in Ihren Live-Traffic-Daten mit unterschiedlicher Häufigkeit auftauchen. Die Verfolgung seines Verhaltens hilft Ihnen, basierend auf tatsächlichen Daten zu entscheiden, ob Sie ihn erlauben, drosseln oder blockieren.
Schützen Sie Ihr Crawl-Budget. Jede Bot-Anfrage verbraucht Serverressourcen. Das Verständnis dessen, was MediaMonitoringBot crawlt, hilft Ihnen, die wichtigen Crawler zu priorisieren.
Log-Verifizierung
So verifizieren Sie MediaMonitoringBot-Traffic in Ihren Live-Traffic-Daten:
- Durchsuchen Sie Zugriffsprotokolle nach den oben aufgeführten User-Agent-Strings
- Prüfen Sie, ob die IP-Adressen mit dokumentierten Bereichen übereinstimmen (falls von MediaMonitoringBot bereitgestellt)
- Verifizieren Sie, ob das Crawl-Muster dem dokumentierten Verhalten entspricht
- Verwenden Sie Reverse-DNS-Lookup zur zusätzlichen Verifizierung, falls verfügbar
Note: Das beobachtete Verhalten in Produktionsumgebungen kann von der offiziellen Dokumentation abweichen. Live-Traffic-Monitoring bietet die einzige zuverlässige Verifizierung des tatsächlichen Bot-Verhaltens.
Undokumentierte Informationen
Die folgenden Informationen sind für MediaMonitoringBot nicht offiziell dokumentiert:
- crawl frequency
- IP verification
- JavaScript rendering
Offizielle Dokumentation
Offizielle MediaMonitoringBot-Dokumentation anzeigen →
Informationen stammen aus der offiziellen Dokumentation. Inhalt mit KI-Unterstützung erstellt.