CYTOWANIEKontaktDostęp robotów do źródła: zastosowanie praktyczne
Najważniejsza zasada: Dokument nie uczestniczy w retrieval, jeżeli robot otrzymuje blokadę, błąd, pusty HTML lub wariant treści różny od tego, który widzi użytkownik.
Jak zastosować tę zasadę?
Sprawdź publiczny status HTTP, robots.txt, meta robots, nagłówki X-Robots-Tag, WAF, wariant user-agent, HTML i zasoby. Porównaj odpowiedź dla przeglądarki i klienta bez JavaScript.
Przykład
Jeśli przeglądarka widzi artykuł, a żądanie robota dostaje 403 albo pusty szablon, dokument nie jest równoważnie dostępny.
Test jakości
Zapisz kod odpowiedzi, końcowy URL po przekierowaniach, rozmiar HTML, tytuł i próbkę głównej treści dla każdego testowanego agenta.
Ograniczenie
Dopuszczenie konkretnego bota nie gwarantuje wykorzystania treści ani obecności w produkcie AI.
Minimalna karta źródła
| Warstwa | Pytanie kontrolne | Rezultat |
|---|---|---|
| Potrzeba | Na jakie pytanie odpowiada dokument? | jedna intencja główna |
| Zakres | Dla kogo i kiedy odpowiedź jest prawdziwa? | podmiot, okres, warunki |
| Dowód | Skąd pochodzi twierdzenie? | dane, metoda lub źródło |
| Fragment | Czy zachowuje sens poza stroną? | samodzielna jednostka informacji |
| Identyfikacja | Kto odpowiada za publikację? | autor, wydawca i wersja |
| Dostęp | Czy system może pobrać właściwy wariant? | 200, HTML i canonical |
Co sprawdzić przed publikacją?
Dopuszczenie konkretnego bota nie gwarantuje wykorzystania treści ani obecności w produkcie AI.