'Block all AI bots' is now actively costing you visibility

One Disallow line, two very different bots

When most sites added AI bot blocks they were thinking about training data - and that was reasonable. But the crawlers have since multiplied. OpenAI now runs three distinct bots. Anthropic followed in early 2026. A blanket Disallow: / for any of these names catches both the training crawler and the search/retrieval crawler - and only one of those harms you to block.

OpenAI's documentation is unambiguous: "Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers." The same logic applies to Claude-SearchBot and Claude-User. Block them and you opt yourself out of citation in real-time AI answers. That reaches well beyond the future model training you meant to stop.

The Google row deserves a note of its own. Google's AI Overviews are bundled with its core search crawler - blocking Google-Extended opts you out of Gemini training, but does nothing to remove you from AI Overviews. The distinction matters.

GPTBot prowadzi listę zablokowanych – i wciąż rośnie

TechnologyChecker.io przeskanował 29,9 miliona aktywnych domen w I kwartale 2026 r. i uszeregował roboty AI pod względem udziału w DISALLOW regułach. Wynik: GPTBot znajduje się na szczycie, już przewyższając starszy CCBot. Większość tych blokad została napisana, zanim podział na szkolenie/wyszukiwanie był powszechnie rozumiany – co oznacza, że duża część z nich potajemnie wyklucza te witryny z cytowania w wyszukiwarkach AI.

Analiza BuzzStream 100 czołowych wydawców wiadomości z USA i Wielkiej Brytanii (styczeń 2026 r.) wykazała, że 79% blokuje co najmniej jednego bota szkoleniowego – jednak Google-Extended był najrzadziej blokowanym botem szkoleniowym, stanowiąc 46% ogółu, przy czym wydawcy z USA (58%) znacznie wyprzedzali wydawców z Wielkiej Brytanii (29%). Wydawcy wyraźnie chcą blokować – po prostu robią to w sposób nieprecyzyjny.

416 miliardów żądań zablokowanych w ciągu pięciu miesięcy

Kiedy Cloudflare ogłosił „Dzień Niepodległości Treści” 1 lipca 2025 r. i zaczął domyślnie blokować roboty AI na nowych domenach, dało nam to pierwszy obraz na dużą skalę tego, jak dużo indeksowania przez AI ma miejsce. Dyrektor generalny Cloudflare, Matthew Prince, ujawnił całkowitą liczbę podczas Wielkiego Wywiadu WIRED w grudniu 2025 r.: 416 miliardów żądań od robotów AI odpartych w ciągu około pięciu miesięcy – około 2,8 miliarda dziennie. To operacja masowej ekstrakcji na pełną skalę działająca przez całą dobę.

Prince przedstawił również przewagę strukturalną Google w prostych liczbach (styczeń 2026 r., złożone wraz z konsultacją brytyjskiego CMA): „Google wykorzystuje swoją monopolistyczną pozycję w wyszukiwaniu, aby widzieć 3,2 razy więcej sieci niż OpenAI, 4,8 razy więcej niż Microsoft i ponad 6 razy więcej niż prawie wszyscy inni.” Ta asymetria oznacza, że blokowanie robotów Google kosztuje znacznie więcej widoczności niż blokowanie odpowiednika dowolnego innego dostawcy.

Płatność za indeksowanie: tworzy się ścieżka pośrednia

Zamiast binarnego zezwolenia/blokowania, wydawcy zaczynają pobierać opłaty za dostęp. Rynek Cloudflare Pay Per Crawl (ogłoszony w 2026 r.) pozwala wydawcom zwracać odpowiedź HTTP 402 Payment Required z nagłówkiem crawler-price; Cloudflare działa jako Merchant of Record. Ponad miliard takich odpowiedzi jest już wysyłanych dziennie w sieci Cloudflare.

Stack Overflow doprecyzował to w lutym 2026 r.: umowa licencyjna z Cloudflare pobiera opłaty za komercyjny dostęp do szkolenia, jednocześnie zachowując swobodny dostęp do treści społeczności. Dane treningowe mają wartość; wyszukiwanie informacji pomaga społeczności. Pobieranie opłat za jedno, a zezwalanie na drugie, jest teraz decyzją dotyczącą produktu na żywo – firmy faktycznie go wdrażają.

Nie wszystkie blokady są złe

Ten post nie argumentuje za otwartym dostępem do wszystkiego. Istnieją uzasadnione powody, aby trzymać roboty treningowe z dala, i powinieneś je rozważyć:

• Dane treningowe mają realną wartość. Jeśli Twoje treści są oryginalne i autorytatywne, roboty treningowe bezpłatnie wydobywają tę wartość. Umowa Stack Overflow stanowi precedens do pobierania opłat zamiast dawania prezentów.
• Roboty treningowe nie podają atrybucji ani nie generują ruchu z przekierowań. W przeciwieństwie do cytatów z botów wyszukiwarek, przejścia treningowe nie pozostawiają śladu – Twoje treści ulepszają model bez uznania i bez linku zwrotnego.
• Ryzyko związane z IP i konkurencją. Jeśli Twoje treści są na tyle zastrzeżone lub specyficzne dla domeny, że stanowią fosę, możesz nie chcieć, aby zostały wbudowane w publiczny LLM, o który może zapytać każdy konkurent.

Argument tutaj jest wąski: blokuj celowo roboty treningowe, jeśli tak zdecydujesz, ale rób to po nazwie, aby ogólna zasada nie objęła również botów wyszukiwania/pobierania, które generują cytaty i widoczność.

Jeszcze jedno zastrzeżenie: egzekwowanie robots.txt jest dobrowolne. Bytespider ma udokumentowaną historię ignorowania go. Spoofery rutynowo używają user-agentów Chrome, aby uniknąć wykrycia. Wpis w robots.txt sygnalizuje Twoje preferencje i daje podstawę prawną do złożenia skargi; technicznie nie zapobiega to dostępowi. Prawdziwa kontrola wymaga reguł po stronie serwera, konfiguracji WAF i sygnałów zweryfikowanych botów (zarządzanie botami Cloudflare może zweryfikować legalne roboty według adresu IP i odcisku palca TLS przed zezwoleniem na dostęp lub naliczeniem opłat). Traktuj robots.txt jako pierwszą warstwę, a następnie zabezpiecz ją kontrolami po stronie serwera wymienionymi powyżej.

Zablokuj boty szkoleniowe po nazwie

Plik robots.txt, który rozróżnia szkolenie od wyszukiwania, wygląda następująco:

Drugim krokiem jest sprawdzenie, czy Twój CDN lub WAF już podjął tę decyzję za Ciebie. Cloudflare zaczął domyślnie blokować boty AI dla wszystkich nowych domen od 1 lipca 2025 r. Jeśli utworzyłeś lub migrowałeś domenę po tej dacie, boty AI mogą być już zablokowane na poziomie sieci - w tym boty wyszukiwania, na które możesz chcieć zezwolić. Sprawdź ustawienia Cloudflare Security → Bots, zanim założysz, że Twój robots.txt wykonuje swoją pracę.

Trzecim krokiem jest zmierzenie Twojej obecnej widoczności w AI, abyś wiedział, co możesz stracić lub zyskać. Tym właśnie zajmuje się skaner marki Baseline.

Audytuj swoją widoczność w AI