'Bloquer tous les bots IA' vous coûte maintenant activement de la visibilité

Une Disallow ligne, deux bots très différents

Quand la plupart des sites ont ajouté des blocages de bots IA, ils pensaient aux données d'entraînement - et c'était raisonnable. Mais les crawlers se sont depuis multipliés. OpenAI exécute maintenant trois bots distincts. Anthropic a suivi au début de 2026. Un Disallow: / général pour l'un de ces noms capture à la fois le crawler d'entraînement et le crawler de recherche/récupération - et un seul de ces deux vous nuit à bloquer.

La documentation d'OpenAI est sans ambiguïté : « Les sites qui sont exclus d'OAI-SearchBot ne seront pas affichés dans les réponses de recherche ChatGPT. » La même logique s'applique à Claude-SearchBot et Claude-User. Les bloquer et vous vous excluez vous-même des citations dans les réponses IA en temps réel. Cela va bien au-delà de l'entraînement futur des modèles que vous aviez l'intention d'arrêter.

La ligne Google mérite sa propre note. Les AI Overviews de Google sont regroupés avec son crawler de recherche principal - bloquer Google-Extended vous exclut de l'entraînement Gemini, mais ne fait rien pour vous supprimer des AI Overviews. La distinction est importante.

GPTBot en tête de la liste des bloqués - et continue de croître

TechnologyChecker.io a analysé 29,9 millions de domaines actifs au Q1 2026 et classé les robots d'IA par part de DISALLOW règles. Le résultat : GPTBot est en tête, surpassant déjà l'ancien CCBot. La plupart de ces blocages ont été écrits avant que la distinction formation/recherche soit largement comprise - ce qui signifie qu'une grande part d'entre eux excluent silencieusement ces sites de la citation par recherche IA.

Une analyse BuzzStream de 100 principaux éditeurs de presse américains et britanniques (janvier 2026) a révélé que 79% bloquent au moins un robot d'entraînement - pourtant Google-Extended était le robot d'entraînement le moins bloqué avec 46% au total, les éditeurs américains (58%) bien devant les éditeurs britanniques (29%). Les éditeurs veulent clairement bloquer - ils le font juste de manière peu précise.

416 milliards de requêtes bloquées en cinq mois

Quand Cloudflare a déclaré « Content Independence Day » le 1er juillet 2025 et a commencé à bloquer les robots d'IA par défaut sur les nouveaux domaines, cela nous a donné la première image à grande échelle de l'ampleur du crawling IA. Le PDG de Cloudflare Matthew Prince a divulgué le total lors de la Big Interview de WIRED en décembre 2025 : 416 milliards de requêtes de robots d'IA repoussées en environ cinq mois - environ 2,8 milliards par jour. C'est une opération d'extraction industrielle à grande échelle fonctionnant 24h/24.

Prince a également mis en chiffres l'avantage structurel de Google (janvier 2026, déposé aux côtés de la consultation CMA du Royaume-Uni) : « Google exploite son monopole de recherche pour voir 3,2x plus du web qu'OpenAI, 4,8x plus que Microsoft, et plus de 6x plus que presque tous les autres. » Cette asymétrie signifie que bloquer les robots Google coûte bien plus de visibilité que bloquer l'équivalent de tout autre fournisseur.

Pay-per-crawl : un chemin intermédiaire se dessine

Plutôt qu'une simple autorisation/blocage, les éditeurs commencent à facturer l'accès. La marketplace Pay Per Crawl de Cloudflare (annoncée en 2026) permet aux éditeurs de retourner une réponse HTTP 402 Payment Required avec un en-tête de prix pour les crawlers ; Cloudflare agit en tant que Merchant of Record. Plus d'un milliard de telles réponses sortent déjà par jour sur le réseau de Cloudflare.

Stack Overflow a concrétisé la séparation en février 2026 : un accord de licence avec Cloudflare facture l'accès commercial à l'entraînement tout en gardant le contenu de la communauté librement lisible. Les données d'entraînement ont de la valeur ; la récupération par recherche aide la communauté. Facturer l'une tout en permettant l'autre est maintenant une décision de produit en direct - les entreprises la mettent réellement en œuvre.

Tout blocage n'est pas mauvais

Cet article ne plaide pas pour un accès sans restriction à tout. Il y a de bonnes raisons de tenir les crawlers d'entraînement à l'écart, et vous devriez les peser :

• Les données d'entraînement ont une vraie valeur. Si votre contenu est original et faisant autorité, les crawlers d'entraînement extraient cette valeur gratuitement. L'accord Stack Overflow établit un précédent pour facturer plutôt que de donner.
• Les crawlers d'entraînement ne donnent pas d'attribution et pas de trafic de renvoi. Contrairement aux citations des bots de recherche, les passages d'entraînement ne laissent aucune trace - votre contenu améliore un modèle sans reconnaissance et sans lien de retour.
• Risque de propriété intellectuelle et concurrence. Si votre contenu est suffisamment propriétaire ou spécifique au domaine pour constituer un avantage concurrentiel, vous ne voudrez peut-être pas qu'il soit intégré dans un LLM public que n'importe quel concurrent peut interroger.

L'argument ici est étroit : bloquez délibérément les crawlers d'entraînement si vous choisissez de le faire, mais faites-le par nom, pour qu'une règle générale ne capture pas aussi les bots de recherche/récupération qui génèrent des citations et de la visibilité.

Une mise en garde de plus : l'application de robots.txt est volontaire. Bytespider a un historique documenté de non-respect. Les usurpateurs utilisent régulièrement des user-agents Chrome pour éviter la détection. Une entrée robots.txt signale votre préférence et vous donne une base légale pour une plainte ; elle n'empêche pas techniquement l'accès. Le vrai contrôle nécessite des règles côté serveur, une configuration WAF et des signaux de bot vérifié (la gestion des bots de Cloudflare peut vérifier les crawlers légitimes par IP et empreinte TLS avant de les autoriser ou de les facturer). Traitez robots.txt comme votre première couche, puis renforcez-la avec les contrôles côté serveur ci-dessus.

Bloquer les bots d'entraînement par nom

Un robots.txt qui distingue l'entraînement de la recherche ressemble à ceci :

La deuxième étape consiste à vérifier si votre CDN ou WAF a déjà pris cette décision pour vous. Cloudflare a commencé à bloquer les crawlers IA par défaut sur tous les nouveaux domaines à partir du 1er juillet 2025. Si vous avez configuré ou migré un domaine après cette date, les crawlers IA peuvent déjà être bloqués au niveau du réseau - y compris les bots de recherche que vous pourriez vouloir autoriser. Vérifiez vos paramètres Cloudflare Security → Bots avant de supposer que votre robots.txt fait le travail.

La troisième étape consiste à mesurer votre visibilité IA actuelle pour savoir ce que vous avez à perdre ou à gagner. C'est ce que fait le scanner de marque de Baseline.

Auditez votre visibilité IA