'Block all AI bots' kostar dig nu aktivt synlighet

En Disallow rad, två helt olika botar

När de flesta webbplatser lade till AI-botblockeringar tänkte de på träningsdata - och det var rimligt. Men crawlerna har sedan mångdubblats. OpenAI kör nu tre distinkta botar. Anthropic följde efter i början av 2026. En generell Disallow: / för någon av dessa namn fångar både träningscrawlern och sök-/hämtningscrawlern - och bara en av dessa skadar dig att blockera.

OpenAIs dokumentation är otvetydig: "Webbplatser som är utanför OAI-SearchBot visas inte i ChatGPT-sökresultat." Samma logik gäller Claude-SearchBot och Claude-User. Blockera dem och du väljer dig själv bort från citering i realtids-AI-svar. Det sträcker sig långt bortom den framtida modelträning du avsåg att stoppa.

Google-raden förtjänar en egen notering. Googles AI Overviews är bundlade med dess huvudsakliga sök-crawler - blockering av Google-Extended väljer dig bort från Gemini-träning, men gör ingenting för att ta bort dig från AI Overviews. Skillnaden spelar roll.

GPTBot leder blockeringslistan - och växer hela tiden

TechnologyChecker.io skannade 29,9 miljoner aktiva domäner under Q1 2026 och rankade AI-crawlers efter andel DISALLOW regler. Resultatet: GPTBot sitter på toppen och överträffar redan den äldre CCBot. De flesta av dessa blockeringar skrevs innan uppdelningen mellan träning/sökning var allmänt förstådd - vilket betyder att en stor andel av dem tyst avanmäler dessa webbplatser från AI-sökcitationer.

En BuzzStream-analys av 100 toppnyhetsutgivare i USA och Storbritannien (januari 2026) fann att 79% blockerar minst en träningsbot - men Google-Extended var den minst blockerade träningscrawlern med 46% totalt, med amerikanska utgivare (58%) långt före brittiska utgivare (29%). Utgivare vill tydligt blockera - de är bara oprecisa om hur de gör det.

416 miljarder förfrågningar blockerade på fem månader

När Cloudflare förklarade "Content Independence Day" den 1 juli 2025 och började blockera AI-crawlers som standard på nya domäner, gav det oss den första storskaliga bilden av hur mycket AI-crawling som pågår. Cloudflares VD Matthew Prince avslöjade totalen vid WIREDs Big Interview i december 2025: 416 miljarder AI-botförfrågningar avvärjda på ungefär fem månader - omkring 2,8 miljarder per dag. Det är en fullskalig industriell extraktionsoperation som körs dygnet runt.

Prince lade också Googles strukturella fördel i klara siffror (januari 2026, inlämnad tillsammans med UK CMA-konsultationen): "Google utnyttjar sitt sökmono pol för att se 3,2x så mycket av webben som OpenAI, 4,8x så mycket som Microsoft, och mer än 6x så mycket som nästan alla andra." Den asymmetrin betyder att blockering av Googles crawlers kostar mycket mer synlighet än blockering av någon annan leverantörs motsvarighet.

Pay-per-crawl: en mittväg tar form

I stället för binärt tillåta/blockera börjar förlag att ta betalt för åtkomst. Cloudflares Pay Per Crawl-marknadsplats (tillkännagiven 2026) låter förlag returnera ett HTTP 402 Payment Required svar med en crawler-price-header; Cloudflare fungerar som handelspart. Redan över en miljard sådana svar går ut per dag på Cloudflares nätverk.

Stack Overflow gjorde uppdelningen konkret i februari 2026: ett licensavtal med Cloudflare tar betalt för kommersiell träningsåtkomst medan gemenskapens innehål förblir fritt läsbart. Träningsdata har värde; sökåtkomst hjälper gemenskapen. Att ta betalt för det ena medan man tillåter det andra är nu ett levande produktbeslut - företag levererar det faktiskt.

Inte all blockering är fel

Det här inlägget argumenterar inte för öppen åtkomst till allt. Det finns goda skäl att hålla träningscrawlers ute, och du bör väga dem:

• Träningsdata har verkligt värde. Om ditt innehål är originellt och auktoritativt, extraherar träningscrawlers det värdet gratis. Stack Overflow-avtalet sätter ett prejudikat för att ta betalt i stället för att ge bort.
• Träningscrawlers ger ingen tillskrivning och ingen referraltrafik. Till skillnad från sökbotciteringar lämnar träningspass inget spår - ditt innehål förbättrar en modell utan erkännande och utan länk tillbaka.
• IP och konkurrensrisk. Om ditt innehål är proprietärt eller domänspecifikt nog för att utgöra ett försprång, kanske du inte vill att det bakes in i en offentlig LLM som vilken konkurrent som helst kan fråga.

Argumentet här är snävt: blockera träningscrawlers medvetet om du väljer det, men gör det efter namn, så att en omfattande regel inte också fångar sök-/åtkomstbotarna som driver citeringar och synlighet.

Ett förbehål till: robots.txt-tillämpning är frivillig. Bytespider har en dokumenterad historia av att ignorera det. Förfalskare använder rutinmässigt Chrome-användaragenter för att undvika upptäckt. En robots.txt-post signalerar din preferens och ger dig en juridisk grund för klagomål; det förhindrar inte tekniskt åtkomst. Verklig kontroll kräver regler på serversidan, WAF-konfiguration och verifierade-bot-signaler (Cloudflares bothantering kan verifiera legitima crawlers via IP och TLS-fingeravtryck innan de tillåts eller debiteras). Behandla robots.txt som ditt första lager, säkerhetskopiera det sedan med serversidekontrollerna ovan.

Blockera träningsbotarna efter namn

En robots.txt som skiljer träning från sökning ser ut så här:

Det andra steget är att kontrollera om din CDN eller WAF redan har fattat detta beslut åt dig. Cloudflare började blockera AI-crawlers som standard på alla nya domäner från 1 juli 2025. Om du konfigurerade eller migrerade en domän efter det datumet kan AI-crawlers redan vara blockerade på nätverksnivå - inklusive sökkbotarna som du kanske vill tillåta. Kontrollera dina Cloudflare Security → Bots-inställningar innan du antar att din robots.txt gör jobbet.

Det tredje steget är att mäta din nuvarande AI-synlighet så att du vet vad du kan förlora eller vinna. Det är vad Baselines varumärkesscanner gör.

Granska din AI-synlighet