Czy Cloudflare Security Scanner respektuje reguły robots.txt?

Zgodnie z oficjalną dokumentacją Cloudflare Security Scanner nie respektuje reguł robots.txt.

Czym jest Cloudflare Security Scanner?

Q: Jak zweryfikować ruch Cloudflare Security Scanner w logach serwera?

Możesz zweryfikować żądania Cloudflare Security Scanner sprawdzając logi dostępu serwera pod kątem udokumentowanych ciągów user-agent. Dla dokładnej weryfikacji koreluj wzorce user-agent z zakresami IP lub metodami weryfikacji podanymi przez Cloudflare.

Krótka odpowiedź: Cloudflare Radar URL Scanner skanuje i analizuje URL pod kątem zagrożeń bezpieczeństwa, phishingu i malware w imieniu usług bezpieczeństwa Cloudflare.

Operator: Cloudflare Typ: Skaner bezpieczeństwa Cel: Skanowanie bezpieczeństwa

Identyfikacja User-Agent

Następujące ciągi user-agent identyfikują Cloudflare Security Scanner w logach Twojego serwera:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko)

Reguły robots.txt dla Cloudflare Security Scanner

Respektuje robots.txt: Nie

Ten bot nie zobowiązuje się do przestrzegania robots.txt

Cloudflare Security Scanner oficjalnie nie przestrzega dyrektyw robots.txt. Jedynym niezawodnym sposobem kontroli dostępu jest blokowanie po stronie serwera (filtrowanie IP, reguły user-agent w konfiguracji serwera) w połączeniu z monitoringiem logów.

Potrzebujesz ciągłej weryfikacji ponad 500 botów? Can AI See It automatyzuje ten proces.

Dlaczego warto śledzić ruch Cloudflare Security Scanner?

Identyfikuj i klasyfikuj nieznaną aktywność crawlerów. Cloudflare Security Scanner może pojawiać się w logach serwera z różną częstotliwością. Śledzenie zachowania pomaga zdecydować, czy zezwolić, ograniczyć czy zablokować na podstawie danych.

Chroń budżet crawlowania. Każde żądanie bota pochłania zasoby serwera. Zrozumienie, co Cloudflare Security Scanner crawluje, pomaga priorytetyzować crawlery, które mają znaczenie.

Weryfikacja w logach

Aby zweryfikować ruch Cloudflare Security Scanner w logach serwera:

Szukaj w logach dostępu ciągów user-agent wymienionych powyżej
Sprawdź, czy adresy IP pasują do udokumentowanych zakresów (jeśli podane przez Cloudflare)
Zweryfikuj, czy wzorzec crawlowania odpowiada udokumentowanemu zachowaniu
Użyj odwrotnego wyszukiwania DNS do dodatkowej weryfikacji, jeśli dostępne

Note: Obserwowane zachowanie w środowiskach produkcyjnych może różnić się od oficjalnej dokumentacji. Monitoring logów serwera zapewnia jedyną niezawodną weryfikację rzeczywistego zachowania botów.

Oficjalna dokumentacja

Zobacz oficjalną dokumentację Cloudflare Security Scanner →

Informacje pochodzą z oficjalnej dokumentacji. Treść wygenerowana z pomocą AI.