'Block all AI bots' is now actively costing you visibility

En Disallow rad, två väldigt olika botar

När de flesta webbplatser lade till AI-botblock tänkte de på träningsdata – och det var rimligt. Men crawlers har sedan dess mångfaldigats. OpenAI driver nu tre distinkta botar. Anthropic följde efter i början av 2026. Ett generellt Disallow: / för något av dessa namn fångar både träningscrawlen och sök-/hämtningscrawlen – och bara en av dessa skadar dig att blockera.

OpenAIs dokumentation är otvetydig: "Webbplatser som har valt bort OAI-SearchBot kommer inte att visas i ChatGPT:s sökresultat." Samma logik gäller för Claude-SearchBot och Claude-User. Blockera dem och du väljer bort dig själv från citering i realtids AI-svar. Det sträcker sig långt bortom den framtida modellträningen du ville stoppa.

Googles rad förtjänar en egen kommentar. Googles AI Overviews är paketerade med dess kärnsökmotor – att blockera Google-Extended tar dig ur Gemini-träningen, men gör ingenting för att ta bort dig från AI Overviews. Skillnaden är viktig.

GPTBot leder den blockerade listan – och fortsätter att växa

TechnologyChecker.io skannade 29,9 miljoner aktiva domäner under Q1 2026 och rankade AI-crawlers efter andel av DISALLOW regler. Resultatet: GPTBot ligger i topp, och överträffar redan den äldre CCBot. De flesta av dessa blockeringar skrevs innan uppdelningen mellan träning/sökning var allmänt förstådd – vilket innebär att en stor del av dem tyst väljer bort dessa webbplatser från AI-sökcitat.

En BuzzStream-analys av 100 toppnyhetsutgivare i USA och Storbritannien (januari 2026) fann att 79% blockerar minst en träningsbot – men Google-Extended var den minst blockerade träningscrawlern med 46% totalt, med amerikanska utgivare (58%) långt före brittiska utgivare (29%). Utgivare vill tydligt blockera – de är bara trubbiga med hur de gör det.

416 miljarder förfrågningar blockerade på fem månader

När Cloudflare utropade "Content Independence Day" den 1 juli 2025 och började blockera AI-genomsökare som standard på nya domäner, fick vi den första storskaliga bilden av hur mycket AI-genomsökning som faktiskt sker – i juni 2026 hade botar passerat människor som majoriteten av HTML-trafiken. Cloudflares VD Matthew Prince avslöjade totalen vid WIRED:s Big Interview i december 2025: 416 miljarder AI-botförfrågningar avvärjdes på ungefär fem månader – cirka 2,8 miljarder per dag. Det är en fullskalig industriell utvinningsoperation som pågår dygnet runt.

Prince presenterade också Googles strukturella fördel i klara siffror (januari 2026, inlämnat tillsammans med den brittiska CMA-konsultationen): "Google utnyttjar sitt sökmonopol för att se 3,2 gånger så mycket av webben som OpenAI, 4,8 gånger så mycket som Microsoft, och mer än 6 gånger så mycket som nästan alla andra." Denna asymmetri innebär att blockering av Googles genomsökare kostar betydligt mer synlighet än att blockera någon annan leverantörs motsvarighet.

Betala per genomsökning: en medelväg håller på att bildas

Istället för binär tillåt/blockerar börjar utgivare ta betalt för åtkomst. Cloudflares Pay Per Crawl-marknadsplats (tillkännagavs 2026) låter utgivare returnera en HTTP 402 Payment Required svar med en crawler-price-header; Cloudflare agerar som Merchant of Record. Över en miljard sådana svar skickas redan ut per dag på Cloudflares nätverk.

Stack Overflow gjorde uppdelningen konkret i februari 2026: ett licensavtal med Cloudflare tar betalt för kommersiell träningsåtkomst samtidigt som gemenskapens innehåll förblir fritt läsbart. Träningsdata har värde; sökåtervinning hjälper gemenskapen. Att ta betalt för det ena samtidigt som det andra tillåts är nu ett levande produktbeslut – företag levererar det faktiskt.

All blockering är inte fel

Detta inlägg argumenterar inte för öppen tillgång till allt. Det finns goda skäl att hålla träningscrawlers borta, och du bör överväga dem:

• Träningsdata har ett verkligt värde. Om ditt innehåll är original och auktoritativt, extraherar träningscrawlers det värdet gratis. Stack Overflow-avtalet sätter ett prejudikat för att ta betalt snarare än att ge bort.
• Träningscrawlers ger ingen attribuering och ingen hänvisningstrafik. Till skillnad från sökmotorbots-citat lämnar träningspass inga spår – ditt innehåll förbättrar en modell utan erkännande och ingen länk tillbaka.
• IP- och konkurrensrisk. Om ditt innehåll är proprietärt eller domänspecifikt nog för att utgöra en vallgrav, kanske du inte vill att det bakas in i en offentlig LLM som vilken konkurrent som helst kan fråga.

Argumentet här är snävt: blockera träningscrawlers medvetet om du väljer att göra det, men gör det med namn, så att en svepande regel inte också fångar sök-/hämtningsrobotarna som driver citat och synlighet.

Ytterligare ett förbehåll: robots.txt-efterlevnad är frivillig. Bytespider har en dokumenterad historia av att ignorera det. Spoofers använder rutinmässigt Chrome-användaragenter för att undvika upptäckt. En robots.txt-post signalerar din preferens och ger dig en rättslig grund för klagomål; det förhindrar inte tekniskt åtkomst. Verklig kontroll kräver server-side-regler, WAF-konfiguration och verifierade bot-signaler (Cloudflares bot-hantering kan verifiera legitima crawlers via IP och TLS-fingeravtryck innan de tillåts eller debiteras). Behandla robots.txt som ditt första lager, och backa sedan upp det med de server-side-kontroller som nämns ovan.

Blockera träningsrobotarna med namn

En robots.txt som skiljer träning från sökning ser ut så här:

Det andra steget är att kontrollera om din CDN eller WAF redan har fattat detta beslut åt dig. Cloudflare började blockera AI-crawlers som standard på alla nya domäner från och med den 1 juli 2025. Om du ställde in eller migrerade en domän efter det datumet kan AI-crawlers redan vara blockerade på nätverksnivå – inklusive de sökrobotar du kanske vill tillåta. Kontrollera dina Cloudflare Säkerhet → Bots-inställningar innan du antar att din robots.txt gör jobbet.

Det tredje steget är att mäta din nuvarande AI-synlighet så att du vet vad du har att förlora eller vinna. Det är vad Baselines varumärkesskanner gör.

Granska din AI-synlighet