Was ist MagnetmeBot?
Kurzantwort: MagnetmeBot ist ein respektvoller Webcrawler, betrieben von Magnet.me, um karrierebezogene Inhalte zu entdecken und zu aktualisieren.
MagnetmeBot ist der offizielle Webcrawler von Magnet.me, der karrierebezogene Inhalte entdeckt und indexiert und sicherstellt, dass die Plattform mit den neuesten Stellenangeboten, Veranstaltungen und Arbeitgeberinformationen aktuell bleibt. Er ist darauf ausgelegt, Websites effizient und respektvoll zu crawlen, das robots.txt-Protokoll zu beachten und verschiedene Direktiven zu unterstützen.
User-Agent-Identifikation
Die folgenden User-Agent-Strings identifizieren MagnetmeBot in Ihren Live-Traffic-Daten:
Magnet.me-web/1.0 (+https://magnet.me/bot.html)
robots.txt-Regeln für MagnetmeBot
Respektiert robots.txt: Ja
Verwenden Sie die folgenden robots.txt-Regeln, um den Zugriff von MagnetmeBot zu steuern:
# Block MagnetmeBot
User-agent: MagnetmeBot
Disallow: /
# Allow MagnetmeBot
User-agent: MagnetmeBot
Allow: /robots.txt ist eine Anweisung, keine Barriere
Magnet.me gibt an, dass MagnetmeBot robots.txt respektiert. Allerdings können Konfigurationsfehler, Caching-Verzögerungen und Sonderfälle dazu führen, dass Ihre Anweisungen nicht immer wie erwartet befolgt werden. Live-Traffic-Verifizierung bestätigt, ob MagnetmeBot Ihre Regeln in der Praxis tatsächlich einhält.
Benötigen Sie kontinuierliche Verifizierung für über 500 Bots? Can AI See It automatisiert dies.
Crawl-Verhalten
Häufigkeit:Automatic Crawl Speed Adjustment
Anfragemuster:Focuses On The Main Version Of A Page (Canonical Version), Follows Links, And Scrolls
JavaScript-Rendering:Ja — dieser Bot kann JavaScript ausführen und Seiten rendern.
Zitate aus der offiziellen Dokumentation
"MagnetmeBot is the official web crawler used by Magnet.me to discover and index career-related content."
Crawl-Aktivitätsindex
Relative Crawl-Aktivität von MagnetmeBot der letzten 28 Tage. Höhere Werte zeigen eine erhöhte Crawl-Intensität im Vergleich zum Basiszeitraum an.
Aktuelle Aktivitätsdaten anzeigen (letzte 7 Tage)
| Datum | Aktivitätsindex |
|---|---|
| Mar 28, 2026 | 4.3 |
| Mar 29, 2026 | 3.8 |
| Mar 30, 2026 | 2.0 |
| Mar 31, 2026 | 5.0 |
| Apr 1, 2026 | 8.0 |
| Apr 2, 2026 | 6.7 |
| Apr 3, 2026 | 5.7 |
Quelle: Cloudflare Radar
Warum MagnetmeBot-Traffic überwachen?
Identifizieren und klassifizieren Sie unbekannte Crawler-Aktivitäten. MagnetmeBot kann in Ihren Live-Traffic-Daten mit unterschiedlicher Häufigkeit auftauchen. Die Verfolgung seines Verhaltens hilft Ihnen, basierend auf tatsächlichen Daten zu entscheiden, ob Sie ihn erlauben, drosseln oder blockieren.
Schützen Sie Ihr Crawl-Budget. Jede Bot-Anfrage verbraucht Serverressourcen. Das Verständnis dessen, was MagnetmeBot crawlt, hilft Ihnen, die wichtigen Crawler zu priorisieren.
Log-Verifizierung
So verifizieren Sie MagnetmeBot-Traffic in Ihren Live-Traffic-Daten:
- Durchsuchen Sie Zugriffsprotokolle nach den oben aufgeführten User-Agent-Strings
- Prüfen Sie, ob die IP-Adressen mit dokumentierten Bereichen übereinstimmen (falls von Magnet.me bereitgestellt)
- Verifizieren Sie, ob das Crawl-Muster dem dokumentierten Verhalten entspricht
- Verwenden Sie Reverse-DNS-Lookup zur zusätzlichen Verifizierung, falls verfügbar
IP-Verifizierung: Magnet.me bietet eine offizielle IP-Verifizierung über Published IP ranges an. Verifizierungsanleitung anzeigen →
IP addresses are published for verification
Note: Das beobachtete Verhalten in Produktionsumgebungen kann von der offiziellen Dokumentation abweichen. Live-Traffic-Monitoring bietet die einzige zuverlässige Verifizierung des tatsächlichen Bot-Verhaltens.
Undokumentierte Informationen
Die folgenden Informationen sind für MagnetmeBot nicht offiziell dokumentiert:
- crawl delay configuration
Offizielle Dokumentation
Offizielle MagnetmeBot-Dokumentation anzeigen →
Informationen stammen aus der offiziellen Dokumentation. Inhalt mit KI-Unterstützung erstellt.