'Block all AI bots' is now actively costing you visibility

One Disallow line, two very different bots

When most sites added AI bot blocks they were thinking about training data - and that was reasonable. But the crawlers have since multiplied. OpenAI now runs three distinct bots. Anthropic followed in early 2026. A blanket Disallow: / for any of these names catches both the training crawler and the search/retrieval crawler - and only one of those harms you to block.

OpenAI's documentation is unambiguous: "Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers." The same logic applies to Claude-SearchBot and Claude-User. Block them and you opt yourself out of citation in real-time AI answers. That reaches well beyond the future model training you meant to stop.

The Google row deserves a note of its own. Google's AI Overviews are bundled with its core search crawler - blocking Google-Extended opts you out of Gemini training, but does nothing to remove you from AI Overviews. The distinction matters.

GPTBot lidera a lista de bloqueios - e continua crescendo

A TechnologyChecker.io analisou 29,9 milhões de domínios ativos no 1º trimestre de 2026 e classificou os rastreadores de IA por participação nas regras de DISALLOW. O resultado: GPTBot está no topo, já superando o antigo CCBot. A maioria desses bloqueios foi escrita antes que a divisão de treinamento/pesquisa fosse amplamente compreendida - o que significa que uma grande parte deles está silenciosamente excluindo esses sites da citação de pesquisa de IA.

Uma análise da BuzzStream de 100 das principais editoras de notícias dos EUA e do Reino Unido (janeiro de 2026) descobriu que 79% bloqueiam pelo menos um bot de treinamento - no entanto, o Google-Extended foi o rastreador de treinamento menos bloqueado, com 46% no geral, com editoras dos EUA (58%) muito à frente das editoras do Reino Unido (29%). As editoras querem claramente bloquear - elas são apenas diretas sobre como o fazem.

416 bilhões de solicitações bloqueadas em cinco meses

Quando a Cloudflare declarou "Content Independence Day" em 1º de julho de 2025 e começou a bloquear rastreadores de IA por padrão em novos domínios, isso nos deu a primeira imagem em larga escala de quanto rastreamento de IA está acontecendo. O CEO da Cloudflare, Matthew Prince, divulgou o total na entrevista Big Interview da WIRED em dezembro de 2025: 416 bilhões de solicitações de bots de IA foram repelidas em aproximadamente cinco meses - cerca de 2,8 bilhões por dia. Essa é uma operação de extração industrial em larga escala funcionando 24 horas por dia.

Prince também apresentou a vantagem estrutural do Google em números claros (janeiro de 2026, arquivado junto à consulta da CMA do Reino Unido): "O Google aproveita seu monopólio de pesquisa para ver 3,2 vezes mais da web do que a OpenAI, 4,8 vezes mais do que a Microsoft e mais de 6 vezes mais do que quase todos os outros." Essa assimetria significa que o bloqueio de rastreadores do Google custa muito mais visibilidade do que o bloqueio do equivalente de qualquer outro fornecedor.

Pagamento por rastreamento: um caminho intermediário está se formando

Em vez de permitir/bloquear binário, os editores estão começando a cobrar pelo acesso. O mercado Pay Per Crawl da Cloudflare (anunciado em 2026) permite que os editores retornem uma HTTP 402 Payment Required resposta com um cabeçalho crawler-price; a Cloudflare atua como Merchant of Record. Mais de um bilhão de respostas como essa já estão sendo enviadas por dia na rede da Cloudflare.

O Stack Overflow concretizou a divisão em fevereiro de 2026: um acordo de licenciamento com a Cloudflare cobra pelo acesso de treinamento comercial, mantendo o conteúdo da comunidade livremente legível. Os dados de treinamento têm valor; a recuperação de pesquisa ajuda a comunidade. Cobrar por um enquanto permite o outro é agora uma decisão de produto ativa - as empresas estão realmente lançando isso.

Nem todo bloqueio está errado

Este post não defende o acesso irrestrito a tudo. Existem razões sólidas para manter os rastreadores de treinamento fora, e você deve ponderá-las:

• Dados de treinamento têm valor real. Se o seu conteúdo é original e autoritário, os rastreadores de treinamento estão extraindo esse valor gratuitamente. O acordo do Stack Overflow estabelece um precedente para cobrar em vez de presentear.
• Rastreadores de treinamento não fornecem atribuição nem tráfego de referência. Ao contrário das citações de bots de pesquisa, os passes de treinamento não deixam rastros - seu conteúdo melhora um modelo sem reconhecimento e sem link de volta.
• Risco de IP e concorrência. Se o seu conteúdo é proprietário ou específico o suficiente de um domínio para constituir uma vantagem competitiva, você pode não querer que ele seja incorporado a um LLM público que qualquer concorrente possa consultar.

O argumento aqui é restrito: bloqueie deliberadamente os rastreadores de treinamento, se assim o desejar, mas faça-o pelo nome, para que uma regra abrangente não pegue também os bots de pesquisa/recuperação que geram citações e visibilidade.

Mais uma ressalva: a aplicação do robots.txt é voluntária. O Bytespider tem um histórico documentado de ignorá-lo. Spoofers usam rotineiramente user-agents do Chrome para evitar detecção. Uma entrada robots.txt sinaliza sua preferência e lhe dá uma base legal para reclamação; ela não impede tecnicamente o acesso. O controle real requer regras do lado do servidor, configuração de WAF e sinais de bot verificados (o gerenciamento de bots da Cloudflare pode verificar rastreadores legítimos por IP e impressão digital TLS antes de permitir ou cobrar deles). Trate o robots.txt como sua primeira camada, e depois reforce-o com os controles do lado do servidor acima.

Bloqueie os bots de treino pelo nome

Um robots.txt que distingue o treino da pesquisa é assim:

O segundo passo é verificar se o seu CDN ou WAF já tomou essa decisão por si. A Cloudflare começou a bloquear rastreadores de IA por defeito em todos os novos domínios a partir de 1 de julho de 2025. Se configurou ou migrou um domínio após essa data, os rastreadores de IA podem já estar bloqueados na camada de rede - incluindo os bots de pesquisa que pode querer permitir. Verifique as suas definições de Segurança → Bots na Cloudflare antes de assumir que o seu robots.txt está a fazer o trabalho.

O terceiro passo é medir a sua visibilidade atual de IA para saber o que tem a perder ou a ganhar. É isso que o scanner de marca da Baseline faz.

Audite a sua visibilidade de IA