Czym jest Meta-WebIndexer?
Krótka odpowiedź: Meta-WebIndexer to crawler mediów społecznościowych obsługiwany przez Meta do indeksowania wyszukiwania i wykrywania treści web.
Meta-WebIndexer to web crawler opracowany przez Meta, zaprojektowany do indeksowania treści web na potrzeby mediów społecznościowych. Jest identyfikowany przez user agents 'meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)' oraz 'meta-webindexer/1.1'. Zachowanie bota i szczegóły techniczne wskazują, że jest używany do indeksowania wyszukiwania i wykrywania treści web.
Identyfikacja User-Agent
Następujące ciągi user-agent identyfikują Meta-WebIndexer w logach Twojego serwera:
meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)meta-webindexer/1.1
Reguły robots.txt dla Meta-WebIndexer
Respektuje robots.txt: Nie
Ten bot nie zobowiązuje się do przestrzegania robots.txt
Meta-WebIndexer oficjalnie nie przestrzega dyrektyw robots.txt. Jedynym niezawodnym sposobem kontroli dostępu jest blokowanie po stronie serwera (filtrowanie IP, reguły user-agent w konfiguracji serwera) w połączeniu z monitoringiem logów.
Potrzebujesz ciągłej weryfikacji ponad 500 botów? Can AI See It automatyzuje ten proces.
Zachowanie crawlera
Częstotliwość:Not Documented
Wzorzec żądań:Not Documented
Indeks aktywności crawlera
Względna aktywność crawlera Meta-WebIndexer w ciągu ostatnich 28 dni. Wyższe wartości oznaczają zwiększoną intensywność crawlowania w porównaniu z bazą okresu.
Pokaż dane aktywności (ostatnie 7 dni)
| Data | Indeks aktywności |
|---|---|
| Mar 26, 2026 | 88.0 |
| Mar 27, 2026 | 82.7 |
| Mar 28, 2026 | 83.1 |
| Mar 29, 2026 | 81.8 |
| Mar 30, 2026 | 87.3 |
| Mar 31, 2026 | 90.2 |
| Apr 1, 2026 | 88.9 |
Źródło: Cloudflare Radar
Dlaczego warto śledzić ruch Meta-WebIndexer?
Upewnij się, że podglądy linków renderują się poprawnie. Meta-WebIndexer pobiera Twoje strony do generowania kart podglądu na Meta. Jeśli nie ma dostępu do meta tagów, udostępniane linki wyświetlają uszkodzone lub generyczne podglądy.
Monitoruj aktywność udostępniania w social media. Żądania Meta-WebIndexer korelują z tym, jak często Twoje URL-e są udostępniane na Meta, nawet zanim dostępne są metryki zaangażowania.
Weryfikacja w logach
Aby zweryfikować ruch Meta-WebIndexer w logach serwera:
- Szukaj w logach dostępu ciągów user-agent wymienionych powyżej
- Sprawdź, czy adresy IP pasują do udokumentowanych zakresów (jeśli podane przez Meta)
- Zweryfikuj, czy wzorzec crawlowania odpowiada udokumentowanemu zachowaniu
- Użyj odwrotnego wyszukiwania DNS do dodatkowej weryfikacji, jeśli dostępne
Note: Obserwowane zachowanie w środowiskach produkcyjnych może różnić się od oficjalnej dokumentacji. Monitoring logów serwera zapewnia jedyną niezawodną weryfikację rzeczywistego zachowania botów.
Nieudokumentowane informacje
Następujące informacje nie są oficjalnie udokumentowane dla Meta-WebIndexer:
- crawl frequency
- request pattern
- IP verification
- JavaScript rendering
Weryfikuj podglądy linków — i śledź dostęp botów social media
- Potwierdź, że Meta-WebIndexer ma dostęp do Twoich meta tagów Open Graph
- Śledź, które URL-e są udostępniane na Meta
- Wykrywaj nieudane pobrania powodujące uszkodzone podglądy
Oficjalna dokumentacja
Zobacz oficjalną dokumentację Meta-WebIndexer →
Informacje pochodzą z oficjalnej dokumentacji. Treść wygenerowana z pomocą AI.