'Block all AI bots' is nu actief zichtbaarheid aan het kosten

Eén Disallow regel, twee heel verschillende bots

Toen de meeste sites AI-botblokkades toevoegden, dachten ze aan trainingsdata – en dat was redelijk. Maar de crawlers zijn sindsdien vermenigvuldigd. OpenAI draait nu drie verschillende bots. Anthropic volgde begin 2026. Een algemene Disallow: / voor een van deze namen vangt zowel de trainingscrawler als de zoek/retrieval crawler – en slechts één daarvan schaadt je om te blokkeren.

OpenAI's documentatie is ondubbelzinnig: "Sites die zijn uitgeschreven voor OAI-SearchBot zullen niet worden getoond in ChatGPT zoekantwoorden." Dezelfde logica geldt voor Claude-SearchBot en Claude-User. Blokkeer ze en je schrijft je uit voor citatie in realtime AI-antwoorden. Dat reikt veel verder dan de toekomstige modeltraining die je wilde stoppen.

De Google-rij verdient een eigen opmerking. Google's AI Overviews zijn gebundeld met zijn kern zoekcrawler – blokkeren van Google-Extended schrijft je uit voor Gemini training, maar doet niets om je uit AI Overviews te verwijderen. Het onderscheid is belangrijk.

GPTBot leidt de geblokkeerde lijst - en blijft groeien

TechnologyChecker.io scant 29,9 miljoen actieve domeinen in Q1 2026 en rangschikt AI-crawlers op basis van het aandeel van DISALLOW regels. Het resultaat: GPTBot staat bovenaan, al ruimschoots de oudere CCBot voorbij. De meeste van deze blokkades werden geschreven voordat de training/zoek splitsing breed werd begrepen - wat betekent dat een groot deel van hen stilzwijgend deze sites uitschakelt van AI-zoekcitaten.

Een analyse van BuzzStream van 100 top Amerikaanse en Britse nieuwsuitgevers (januari 2026) toonde aan dat 79% ten minste één trainingsbot blokkeert - toch was Google-Extended de minst geblokkeerde trainingscrawler met 46% in totaal, waarbij Amerikaanse uitgevers (58%) ver voorliepen op Britse uitgevers (29%). Uitgevers willen duidelijk blokkeren - ze zijn er alleen botweg in hoe ze het doen.

416 miljard verzoeken geblokkeerd in vijf maanden

Toen Cloudflare op 1 juli 2025 "Content Independence Day" uitriep en begon met het standaard blokkeren van AI-crawlers op nieuwe domeinen, gaf het ons het eerste grootschalige beeld van hoeveel AI-crawling er plaatsvindt. Cloudflare CEO Matthew Prince onthulde het totaal tijdens WIRED's Big Interview in december 2025: 416 miljard AI-botverzoeken afgeslagen in ongeveer vijf maanden - ongeveer 2,8 miljard per dag. Dat is een grootschalige industriële extractieoperatie die 24/7 draait.

Prince zette ook het structurele voordeel van Google in duidelijke cijfers uiteen (januari 2026, ingediend naast de Britse CMA-consultatie): "Google maakt gebruik van hun zoekmonopolie om 3,2 keer zoveel van het web te zien als OpenAI, 4,8 keer zoveel als Microsoft, en meer dan 6 keer zoveel als bijna iedereen anders." Die asymmetrie betekent dat het blokkeren van Google-crawlers veel meer zichtbaarheid kost dan het blokkeren van de equivalenten van enige andere leverancier.

Betalen per crawl: een middenweg vormt zich

In plaats van een binaire toestaan/blokkeren, beginnen uitgevers kosten in rekening te brengen voor toegang. Cloudflare's Pay Per Crawl-marktplaats (aangekondigd in 2026) laat uitgevers een HTTP 402 Payment Required antwoord retourneren met een crawler-price header; Cloudflare fungeert als Merchant of Record. Meer dan een miljard van dergelijke antwoorden worden al dagelijks verzonden op het netwerk van Cloudflare.

Stack Overflow maakte de splitsing concreet in februari 2026: een licentieovereenkomst met Cloudflare brengt kosten in rekening voor commerciële trainings toegang, terwijl de inhoud van de community vrij leesbaar blijft. Trainingsgegevens hebben waarde; zoekretrieval helpt de community. Kosten in rekening brengen voor het ene, terwijl het andere is toegestaan, is nu een actieve productbeslissing - bedrijven leveren het daadwerkelijk.

Niet al het blokkeren is verkeerd

Dit artikel pleit niet voor open deuren naar alles. Er zijn goede redenen om trainingscrawlers buiten te houden, en u moet deze afwegen:

• Trainingsgegevens hebben reële waarde. Als uw inhoud origineel en gezaghebbend is, extraheren trainingscrawlers die waarde gratis. De Stack Overflow-deal zet een precedent voor het in rekening brengen in plaats van schenken.
• Trainingscrawlers geven geen attributie en geen verwijzingsverkeer. In tegenstelling tot zoekmachinevermeldingen, laten trainingspassen geen sporen achter - uw inhoud verbetert een model zonder erkenning en zonder link terug.
• IP- en concurrentierisico. Als uw inhoud bedrijfseigen of domeinspecifiek genoeg is om een slotgracht te vormen, wilt u misschien niet dat deze wordt opgenomen in een openbare LLM waar elke concurrent naar kan vragen.

Het argument hier is beperkt: blokkeer trainingscrawlers bewust als u dat kiest, maar doe dit op naam, zodat een brede regel niet ook de zoek-/retrievalbots vangt die verwijzingen en zichtbaarheid genereren.

Nog een kanttekening: robots.txt-handhaving is vrijwillig. Bytespider heeft een gedocumenteerde geschiedenis van het negeren ervan. Spoofers gebruiken routinematig Chrome-user-agents om detectie te vermijden. Een robots.txt-vermelding signaleert uw voorkeur en geeft u een juridische basis voor klachten; het voorkomt technisch gezien geen toegang. Echte controle vereist server-side regels, WAF-configuratie en geverifieerde bot-signalen (Cloudflare's botbeheer kan legitieme crawlers verifiëren op IP en TLS-vingerafdruk voordat ze worden toegestaan of in rekening worden gebracht). Behandel robots.txt als uw eerste laag, en ondersteun deze vervolgens met de bovengenoemde server-side controles.

Blokkeer de trainingsbots bij naam

Een robots.txt die onderscheid maakt tussen training en zoeken ziet er als volgt uit:

De tweede stap is om te controleren of uw CDN of WAF deze beslissing al voor u heeft genomen. Cloudflare begon met het standaard blokkeren van AI-crawlers voor alle nieuwe domeinen vanaf 1 juli 2025. Als u een domein na die datum hebt ingesteld of gemigreerd, kunnen AI-crawlers al op netwerkniveau worden geblokkeerd - inclusief de zoekbots die u mogelijk wilt toestaan. Controleer uw Cloudflare Security → Bots-instellingen voordat u ervan uitgaat dat uw robots.txt het werk doet.

De derde stap is om uw huidige AI-zichtbaarheid te meten, zodat u weet wat u te verliezen of te winnen hebt. Dat is wat de merkscanner van Baseline doet.

Audit uw AI-zichtbaarheid