Czym jest AutoRAG?
Krótka odpowiedź: AutoRAG to rozwiązanie Cloudflare do wyszukiwania AI służące do indeksowania i odpytywania danych.
AutoRAG, obecnie znane jako AI Search, to zarządzana usługa wyszukiwania Cloudflare, która automatycznie tworzy stale aktualizowany indeks połączonych źródeł danych. Obsługuje zapytania w języku naturalnym i integruje się z narzędziami platformy deweloperskiej Cloudflare. Usługa umożliwia wzorce retrieval-augmented generation (RAG) do budowy wyszukiwania korporacyjnego, wyszukiwania w języku naturalnym i czatów wspieranych przez AI.
Identyfikacja User-Agent
Następujące ciągi user-agent identyfikują AutoRAG w logach Twojego serwera:
Cloudflare-AutoRAG (https://developers.cloudflare.com/autorag; autorag@cloudflare.com)
Reguły robots.txt dla AutoRAG
Respektuje robots.txt: Tak
Użyj poniższych reguł robots.txt, aby kontrolować dostęp AutoRAG:
# Block AutoRAG
User-agent: Cloudflare-AutoRAG
Disallow: /
# Allow AutoRAG
User-agent: Cloudflare-AutoRAG
Allow: /Robots.txt to dyrektywa, nie bariera
Cloudflare deklaruje, że AutoRAG respektuje robots.txt. Jednak błędy konfiguracji, opóźnienia cache i przypadki brzegowe oznaczają, że Twoje dyrektywy nie zawsze mogą być przestrzegane. Weryfikacja w logach serwera potwierdza, czy AutoRAG faktycznie stosuje się do Twoich reguł.
Potrzebujesz ciągłej weryfikacji ponad 500 botów? Can AI See It automatyzuje ten proces.
Zachowanie crawlera
Częstotliwość:Continuous
Wzorzec żądań:Automatically And Continuously Index Data Sources
Cytaty z oficjalnej dokumentacji
"AI Search (formerly AutoRAG) is Cloudflareâs managed search service."
Dlaczego warto śledzić ruch AutoRAG?
Zmierz, co Cloudflare daje w zamian. AutoRAG pobiera Twoje treści dla wyszukiwania AI — ale czy Cloudflare odsyła ruch? Śledź wizyty polecające z produktów wyszukiwania AI Cloudflare w stosunku do ilości pobieranych treści.
Zobacz, które strony zasilają odpowiedzi AI. AutoRAG pobiera Twoje treści w czasie rzeczywistym, aby budować wyniki wyszukiwania AI Cloudflare. Śledzenie tych żądań pokazuje, które URL-e są wykorzystywane jako źródła.
Mierz ruch polecający z wyszukiwania AI. Gdy AutoRAG cytuje Twoją stronę w odpowiedzi AI i użytkownik kliknie link, ta sesja jest mierzalna. Koreluj crawle AutoRAG z wizytami, aby zrozumieć swoją wydajność w wyszukiwaniu AI.
Znajdź luki w cytowaniach. Jeśli AutoRAG często pobiera pewne strony, ale użytkownicy nigdy nie klikają — Twoje treści mogą wyczerpująco odpowiadać na pytanie w AI, nie dając powodu do odwiedzenia strony. To sygnał dla strategii treści.
Wykrywaj błędy 4XX i 5XX wcześnie. Jeśli AutoRAG napotyka niedostępne strony, Twoje treści nie pojawią się w odpowiedziach AI. Wczesne wykrycie w logach pozwala naprawić problem, zanim stracisz widoczność.
Od crawla do konwersji: jak AutoRAG wpływa na Twoje przychody
Bot pobiera Twoje treści do wykorzystania w wynikach wyszukiwania AI.
Wyszukiwarka AI Cloudflare pokazuje Twoją stronę jako źródło w odpowiedzi.
Użytkownik czytający odpowiedź AI klika Twój link i odwiedza stronę.
Odwiedzający rejestruje się, kupuje, subskrybuje lub angażuje się.
Większość narzędzi kończy na kroku 2 — testują prompty, aby sprawdzić, czy Twoja marka pojawia się w odpowiedziach AI. Ale pojawienie się w odpowiedziach AI nie oznacza ruchu na stronie. AI może podsumować Twoje treści tak wyczerpująco, że nikt nie kliknie.
Jedyny sposób na zmierzenie pełnego lejka to połączenie aktywności crawlera AutoRAG w logach serwera z sesjami polecającymi w analityce. Dokładnie to robi Can AI See It — w tym wskaźnik Crawl-to-Referral Ratio (CRR), który pokazuje, ile ruchu Cloudflare faktycznie odsyła na każde 1000 stron crawlowanych przez AutoRAG.
Co Can AI See It mierzy dla AutoRAG
Strony pobrane przez AutoRAG dziennie, tygodniowo i miesięcznie
Wizyty z wyszukiwania AI Cloudflare na Twojej stronie
Wskaźnik efektywności ruchu AI — polecenia na 1000 crawli
Przychody i cele przypisane sesjom z polecenia AI
Bez tych danych podejmujesz decyzje o blokowaniu na ślepo. Bot z dużym wolumenem crawlowania, ale zerowymi poleceniami tylko konsumuje Twoje treści. Bot ze skromnym crawlowaniem, ale wysokim CRR generuje realną wartość biznesową.
Czym to się różni od narzędzi testujących prompty? Testowanie promptów sprawdza, czy AI wspomina Twoją markę w symulowanych zapytaniach. Can AI See It mierzy, co naprawdę się dzieje: prawdziwe crawle, prawdziwe polecenia, prawdziwe konwersje — z Twoich logów serwera.
Czytaj: Dlaczego monitoring logów jest lepszy od testowania promptów →Weryfikacja w logach
Aby zweryfikować ruch AutoRAG w logach serwera:
- Szukaj w logach dostępu ciągów user-agent wymienionych powyżej
- Sprawdź, czy adresy IP pasują do udokumentowanych zakresów (jeśli podane przez Cloudflare)
- Zweryfikuj, czy wzorzec crawlowania odpowiada udokumentowanemu zachowaniu
- Użyj odwrotnego wyszukiwania DNS do dodatkowej weryfikacji, jeśli dostępne
Note: Obserwowane zachowanie w środowiskach produkcyjnych może różnić się od oficjalnej dokumentacji. Monitoring logów serwera zapewnia jedyną niezawodną weryfikację rzeczywistego zachowania botów.
Nieudokumentowane informacje
Następujące informacje nie są oficjalnie udokumentowane dla AutoRAG:
- crawl frequency details
- IP verification method
- JavaScript rendering details
Monitoring logów vs testowanie promptów
| Narzędzia testujące prompty | Can AI See It | |
|---|---|---|
| Co mierzy | Czy AI wspomina Twoją markę w testowych promptach? | Czy aktywność botów AI prowadzi do realnych wizyt i konwersji? |
| Źródło danych | Symulowane zapytania AI | Twoje logi serwera + analityka |
| Które boty obejmuje | ChatGPT, Perplexity, Gemini (tylko interfejsy czatu) | 500+ botów, w tym crawlery, asystenci i boty treningowe |
| Metryka biznesowa | Częstotliwość wzmianek o marce | Crawl-to-Referral Ratio, atrybucja przychodów |
| Mówi Ci | "AI wspomina Cię w 34% przypadków dla słowa kluczowego X" | "AutoRAG crawlował 8 200 stron, a Cloudflare odesłał 290 odwiedzających, którzy wygenerowali 4 100 $ przychodu" |
Zmierz Crawl-to-Referral Ratio dla AutoRAG
Zobacz, ile ruchu Cloudflare faktycznie odsyła na Twoją stronę w stosunku do ilości pobieranych treści przez AutoRAG.
- Połącz crawle AutoRAG w logach z sesjami polecającymi w analityce
- Oblicz CRR — metrykę, której narzędzia testujące prompty nie dostarczą
- Podejmuj decyzje o blokowaniu oparte na danych dla każdego bota AI
Zmierz wpływ biznesowy AutoRAG
Prawdziwe pytanie brzmi: czy aktywność AutoRAG przekłada się na polecenia, sesje i konwersje na Twojej stronie?
- Crawle: strony pobrane przez AutoRAG
- Śledzenie poleceń: AutoRAG pobiera — zmierz, co Cloudflare daje w zamian. Śledź rzeczywiste wizyty z produktów Cloudflare na Twojej stronie.
- CRR: Twój Crawl-to-Referral Ratio — polecenia na 1000 crawli
Na podstawie logów serwera i analityki — nie syntetycznych testów promptów.
Oficjalna dokumentacja
Zobacz oficjalną dokumentację AutoRAG →
Informacje pochodzą z oficjalnej dokumentacji. Treść wygenerowana z pomocą AI.