Czym jest InternetArchiveBot?
Krótka odpowiedź: InternetArchiveBot to bot monitorujący obsługiwany przez Internet Archive, który sprawdza odwołania URL na Wikipedii pod kątem niedziałających linków.
InternetArchiveBot wyszukuje odwołania URL na Wikipedii i ocenia, czy URL nadal działa, czy zwraca 404. Jest obsługiwany przez Internet Archive i używany do monitorowania niedziałających linków na Wikipedii.
Identyfikacja User-Agent
Następujące ciągi user-agent identyfikują InternetArchiveBot w logach Twojego serwera:
IABot/2.0 (+https://meta.wikimedia.org/wiki/InternetArchiveBot/FAQ_for_sysadmins) (Checking if link from Wikipedia is broken and needs removal)
Reguły robots.txt dla InternetArchiveBot
Respektuje robots.txt: Nie
Ten bot nie zobowiązuje się do przestrzegania robots.txt
InternetArchiveBot oficjalnie nie przestrzega dyrektyw robots.txt. Jedynym niezawodnym sposobem kontroli dostępu jest blokowanie po stronie serwera (filtrowanie IP, reguły user-agent w konfiguracji serwera) w połączeniu z monitoringiem logów.
Potrzebujesz ciągłej weryfikacji ponad 500 botów? Can AI See It automatyzuje ten proces.
Zachowanie crawlera
Częstotliwość:Not Documented
Wzorzec żądań:Checks URL References On Wikipedia
Indeks aktywności crawlera
Względna aktywność crawlera InternetArchiveBot w ciągu ostatnich 28 dni. Wyższe wartości oznaczają zwiększoną intensywność crawlowania w porównaniu z bazą okresu.
Pokaż dane aktywności (ostatnie 7 dni)
| Data | Indeks aktywności |
|---|---|
| Mar 26, 2026 | 88.0 |
| Mar 27, 2026 | 82.7 |
| Mar 28, 2026 | 83.1 |
| Mar 29, 2026 | 81.8 |
| Mar 30, 2026 | 87.3 |
| Mar 31, 2026 | 90.2 |
| Apr 1, 2026 | 88.9 |
Źródło: Cloudflare Radar
Dlaczego warto śledzić ruch InternetArchiveBot?
Odróżniaj ruch monitorujący od rzeczywistej aktywności crawlerów. InternetArchiveBot sprawdza dostępność Twojej strony w regularnych interwałach. Bez właściwej identyfikacji te żądania mogą zawyżać metryki ruchu botów.
Weryfikuj pokrycie monitoringu. Śledź, które strony InternetArchiveBot sprawdza i jak często, aby konfiguracja monitoringu odpowiadała wymaganiom infrastruktury.
Weryfikacja w logach
Aby zweryfikować ruch InternetArchiveBot w logach serwera:
- Szukaj w logach dostępu ciągów user-agent wymienionych powyżej
- Sprawdź, czy adresy IP pasują do udokumentowanych zakresów (jeśli podane przez Internet Archive)
- Zweryfikuj, czy wzorzec crawlowania odpowiada udokumentowanemu zachowaniu
- Użyj odwrotnego wyszukiwania DNS do dodatkowej weryfikacji, jeśli dostępne
Note: Obserwowane zachowanie w środowiskach produkcyjnych może różnić się od oficjalnej dokumentacji. Monitoring logów serwera zapewnia jedyną niezawodną weryfikację rzeczywistego zachowania botów.
Nieudokumentowane informacje
Następujące informacje nie są oficjalnie udokumentowane dla InternetArchiveBot:
- crawl frequency
- IP verification
- JavaScript rendering
- user-initiated or autonomous details
Oficjalna dokumentacja
Zobacz oficjalną dokumentację InternetArchiveBot →
Informacje pochodzą z oficjalnej dokumentacji. Treść wygenerowana z pomocą AI.