Czym jest MagnetmeBot?
Krótka odpowiedź: MagnetmeBot to uprzejmy web crawler obsługiwany przez Magnet.me, służący do wykrywania i aktualizowania treści związanych z karierą.
MagnetmeBot to oficjalny web crawler używany przez Magnet.me do wykrywania i indeksowania treści związanych z karierą, zapewniając, że platforma pozostaje aktualna z najnowszymi ofertami pracy, wydarzeniami i informacjami o pracodawcach. Został zaprojektowany do efektywnego i uprzejmego crawlowania stron internetowych, z poszanowaniem protokołu robots.txt i obsługą różnych dyrektyw.
Identyfikacja User-Agent
Następujące ciągi user-agent identyfikują MagnetmeBot w logach Twojego serwera:
Magnet.me-web/1.0 (+https://magnet.me/bot.html)
Reguły robots.txt dla MagnetmeBot
Respektuje robots.txt: Tak
Użyj poniższych reguł robots.txt, aby kontrolować dostęp MagnetmeBot:
# Block MagnetmeBot
User-agent: MagnetmeBot
Disallow: /
# Allow MagnetmeBot
User-agent: MagnetmeBot
Allow: /Robots.txt to dyrektywa, nie bariera
Magnet.me deklaruje, że MagnetmeBot respektuje robots.txt. Jednak błędy konfiguracji, opóźnienia cache i przypadki brzegowe oznaczają, że Twoje dyrektywy nie zawsze mogą być przestrzegane. Weryfikacja w logach serwera potwierdza, czy MagnetmeBot faktycznie stosuje się do Twoich reguł.
Potrzebujesz ciągłej weryfikacji ponad 500 botów? Can AI See It automatyzuje ten proces.
Zachowanie crawlera
Częstotliwość:Automatic Crawl Speed Adjustment
Wzorzec żądań:Focuses On The Main Version Of A Page (Canonical Version), Follows Links, And Scrolls
Renderowanie JavaScript:Tak — ten bot wykonuje JavaScript i renderuje strony.
Cytaty z oficjalnej dokumentacji
"MagnetmeBot is the official web crawler used by Magnet.me to discover and index career-related content."
Indeks aktywności crawlera
Względna aktywność crawlera MagnetmeBot w ciągu ostatnich 28 dni. Wyższe wartości oznaczają zwiększoną intensywność crawlowania w porównaniu z bazą okresu.
Pokaż dane aktywności (ostatnie 7 dni)
| Data | Indeks aktywności |
|---|---|
| Mar 28, 2026 | 4.3 |
| Mar 29, 2026 | 3.8 |
| Mar 30, 2026 | 2.0 |
| Mar 31, 2026 | 5.0 |
| Apr 1, 2026 | 8.0 |
| Apr 2, 2026 | 6.7 |
| Apr 3, 2026 | 5.7 |
Źródło: Cloudflare Radar
Dlaczego warto śledzić ruch MagnetmeBot?
Identyfikuj i klasyfikuj nieznaną aktywność crawlerów. MagnetmeBot może pojawiać się w logach serwera z różną częstotliwością. Śledzenie zachowania pomaga zdecydować, czy zezwolić, ograniczyć czy zablokować na podstawie danych.
Chroń budżet crawlowania. Każde żądanie bota pochłania zasoby serwera. Zrozumienie, co MagnetmeBot crawluje, pomaga priorytetyzować crawlery, które mają znaczenie.
Weryfikacja w logach
Aby zweryfikować ruch MagnetmeBot w logach serwera:
- Szukaj w logach dostępu ciągów user-agent wymienionych powyżej
- Sprawdź, czy adresy IP pasują do udokumentowanych zakresów (jeśli podane przez Magnet.me)
- Zweryfikuj, czy wzorzec crawlowania odpowiada udokumentowanemu zachowaniu
- Użyj odwrotnego wyszukiwania DNS do dodatkowej weryfikacji, jeśli dostępne
Weryfikacja IP: Magnet.me udostępnia oficjalną weryfikację IP przez Published IP ranges. Zobacz instrukcje weryfikacji →
IP addresses are published for verification
Note: Obserwowane zachowanie w środowiskach produkcyjnych może różnić się od oficjalnej dokumentacji. Monitoring logów serwera zapewnia jedyną niezawodną weryfikację rzeczywistego zachowania botów.
Nieudokumentowane informacje
Następujące informacje nie są oficjalnie udokumentowane dla MagnetmeBot:
- crawl delay configuration
Oficjalna dokumentacja
Zobacz oficjalną dokumentację MagnetmeBot →
Informacje pochodzą z oficjalnej dokumentacji. Treść wygenerowana z pomocą AI.