Cloudflare delar upp AI-botar i tre den 15 september

En omkopplare blir tre

Cloudflares argument för att slopa det binära är att etiketten fortsätter att flyttas. Som dess tillkännagivande den 1 juli uttrycker det, "vi skulle kunna debattera gränsen för vad som kvalificerar som 'AI' idag, bara för att upptäcka att standarden ändras imorgon", så den nya klassificeringen frågar vad en bot gör på din webbplats snarare än vilket företag som skickade den. Den fullständiga taxonomin omfattar elva beteenden, från Feed Fetching till Security Testing. Tre av dem är de som varje kund, inklusive Free, nu kan ställa in själva.

Två mindre ändringar följer med det. AI-sökning är inte längre en egen kategori: Cloudflare säger nu att det inte finns någon meningsfull skillnad mellan "AI-sökning" och traditionell sökning, och båda är helt enkelt Sökning. Och att vara en verifierad bot har upphört att betyda tillåten. Verifiering gör nu bara en bot berättigad till vad dess kategori tillåter, så kategorin du ställer in är det som bestämmer åtkomst.

Vem ärver en inställning de aldrig valde

Läs tillkännagivandet så får du en snäv förändring. Blogginlägget säger att den 15 september, "för alla nya domäner som ansluter till Cloudflare, kommer kategorierna Träning och Agent att blockeras som standard på sidor som visar annonser, medan Sök kommer att förbli tillåtet som standard". Endast nya domäner. Inget att göra för någon som redan driver en webbplats.

Pressmeddelandet som publicerades samma dag är bredare. Det tillämpar de nya standardinställningarna på nya kunder och på nya webbplatser som skapats av befintliga kunder, och lägger sedan till en mening som blogginlägget inte innehåller: "Den 15 september 2026 kommer dessa ändringar också att göras för alla befintliga gratiskunder som inte har ändrat sina inställningar senast den 15 september 2026 i sin instrumentpanel." TechCrunch rapporterade samma tre grupper samma dag. Om du är ett litet företag med en gratis Cloudflare-plan som aldrig har öppnat botinställningarna, är pressmeddelandet det dokument som beskriver dig, och det är det som är värt att agera på.

En gräns är viktig innan någon får panik. Den nya standardinställningen stänger inte av AI-åtkomst till en hel webbplats. Den gäller för sidor som Cloudflares automatiserade detektering säger visar annonser, och Cloudflares resonemang är att en annons markerar en sida som en webbplatsägare menade att en människa skulle landa på. En broschyrwebbplats utan reklam ärver inget från den klausulen. En utgivare, en receptwebbplats eller någon som driver annonsinventering är direkt berörd.

Googlebot räknas som en träningsbot

Detta är den del som kan kosta dig riktiga pengar, och det har nästan ingenting med AI att göra. Googlebot, Applebot och BingBot genomsöker för sökning och för träning under en användaragent. Cloudflare löser det genom att tillämpa den strängaste regeln, och säger det tydligt: "flerfunktions-crawlers som Googlebot, Applebot och BingBot kommer att blockeras av kunder som har valt att blockera träning (antingen genom de nya alternativen för att hantera AI-trafik, eller genom den äldre tjänsten Block AI bots)".

Observera den andra halvan av den meningen. Den ett-klicks "Block AI bots"-växeln som många små webbplatser slog på under 2025 kommer att avvecklas den 15 september, och fram till nu hade dess dokumentation en uttrycklig undantagsbestämmelse: "Detta alternativ exkluderar bots med blandade syften som används både för träning och för sökning." Växeln ändrar betydelse under de personer som slog på den. Samma omkopplare, samma position, och från den 15 september tar den med sig Googlebot.

Det finns redan en tidig observation. Search Engine Journal rapporterade den 4 augusti att en webbplatsägare beskrev exakt detta beteende: "När jag ställer in AI Training = Block, börjar både Googlebot och Bingbot ta emot HTTP 403-svar när de försöker hämta min sitemap. Så snart jag inaktiverar AI Training-blocket är sitemapen tillgänglig igen." Det är en rapport snarare än en bekräftad incident, och Googles John Mueller bad att få titta på det privat. Vi hävdade förra året att att blockera alla AI-bots redan kostade varumärken synlighet, och regeln för blandade crawlers höjer priset på den trubbiga versionen. Kontrollera dina egna loggar istället för att anta någotdera.

Ingen har publicerat vilken bot som är vilken

Det besvärliga för alla som försöker agera på detta är att Cloudflare inte har publicerat en karta över de nya kategorierna per bot. De enda botar som nämns någonstans i meddelandet är ChatGPT-User, som ges som ett exempel på en Agent, Gemini och Claude som driver Chrome som webbläsarbaserade agenter, och Googlebot, Applebot och BingBot som det blandade fallet Sök plus Träning. Var GPTBot, ClaudeBot, PerplexityBot, Google-Extended eller Bytespider hamnar anges inte. Cloudflares egen botreferenstabell uppdaterades senast i april 2026 och använder fortfarande de tidigare etiketterna: AI Crawler, AI Search, AI Assistant, Search Engine. Alla som självsäkert berättar att GPTBot är Träning har dragit den slutsatsen.

Webbplatsägare har inte väntat på den officiella kartan. En genomläsning av Cloudflare Radars analyserade robots.txt-filer av TechnologyChecker fann att utgivare redan sorterade ett företags botar i olika högar: OpenAI:s GPTBot nekades 2,33 gånger för varje tillåtelse, medan OpenAI:s OAI-SearchBot tillåts något oftare än den blockeras. Anthropic visar samma mönster, med ClaudeBot som körs 2,39 mot 1 och Claude-User ungefär i paritet, och Apples träningsopt-out-agent Applebot-Extended sitter på 3,24 mot 1. Dessa är råa domänantal från en endagsögonblicksbild av 4 223 filer tagna den 27 juli 2026, inte en andel av webben, så läs dem som ett mönster snarare än en mätning. Mönstret är den intressanta delen: människor blockerar träning och tillåter svar från samma leverantör, för hand, eftersom infrastrukturen fram till nu inte gav dem något sätt att säga det en gång.

Vilket lämnar dig att själv kartlägga, per bot, utifrån vad varje operatör publicerar om sina egna crawlers. Det är det jobb vår botencyklopedi finns till för: vem som driver varje användaragent, vad den hämtar för, och hur man tillåter eller blockerar den utan att ta ner din sökmotorcrawler med den.

Varför Cloudflare anser att detta är rättvist

Argumentet bygger på slöseri och obalans. När det gäller slöseri säger Cloudflare att över 50 % av söktrafiken från AI-sökrobotar går åt till att hämta oförändrade sidor igen, vilket innebär att din bandbredd betalar för en sida som sökroboten redan har. När det gäller obalans pekar de på förhållandet mellan genomsökta sidor och antalet besökare som skickas tillbaka.

Var försiktig med dessa förhållanden, eftersom de nuvarande är andrahandsinformation. Cloudflares eget inlägg från juli 2026 citerar fortfarande 2025 års intervall på 118:1 upp till nästan 50 000:1. Siffrorna för 2026 som cirkulerar kommer från tredje parter som läser Cloudflare Radar, och den tydligaste publicerade uppsättningen är SEOmator's, för det rullande 28-dagarsfönstret som slutade den 21 juli 2026.

Två förbehåll hör hemma bredvid vart och ett av dessa nummer. Cloudflares egen metodnotering säger att förhållandena kan överskatta extraktionen, eftersom hänvisningar från inbyggda appar inte har någon hänvisningshuvud och därför aldrig når nämnaren. Och de rör sig snabbt. SEOmator's avläsning visar att Anthropic faller från ungefär 57 000:1 till ungefär 2 300:1 på sex månader, drivet av att hänvisningar äntligen dyker upp snarare än av någon minskning av genomsökningen. Ett förhållande som citeras utan dess datum är nästan meningslöst.

Under rättvise-argumentet ligger ett konkurrensargument. Cloudflare säger att den största sökmotorn "har tillgång till ungefär dubbelt så mycket information som ledande AI-företag eftersom de gör det svårt för kunder att förbli upptäckbara utan att också användas för AI", och Matthew Prince nämner hoppet bakom det: att de föreslagna standardändringarna uppmuntrar blandade crawlers att separera sökning från agentanvändning och träning. Med mer än 20 % av webbdomänerna bakom Cloudflare, är det en hävstång riktad mot Google lika mycket som mot OpenAI. Cloudflare säger också att automatiserade agenter och botar nu driver mer än hälften av alla webbförfrågningar, vilket är deras formulering snarare än en fastställd siffra, och vi gick igenom vad bot-andels-siffrorna stöder och inte stöder i webben blev maskinmajoritet.

En ärlig lucka finns under allt detta. Verktygen som visar ditt eget förhållande mellan genomsökning och hänvisning per operatör, och om att tillåta sökning ger dig något, är en Enterprise-funktion, så småföretaget som ombeds att fatta detta beslut kan inte se bevisen som argumentet bygger på.

Vad du faktiskt gör

1. Ta reda på vad du är inställd på. I Cloudflare-panelen är sökvägen Säkerhetsinställningar, sedan Konfigurera AI-botpolicyer. Var och en av Sök, Agent och Träning erbjuder tre alternativ: blockera på alla sidor, blockera på sidor med annonser, eller tillåt. Skriv ner vad du hittar innan du ändrar något. Många av dessa inställningar gjordes av en byrå eller en tidigare utvecklare.

2. Behandla den äldre växeln som ett beslut att göra om. Om "Blockera AI-botar" är på, skonar den för närvarande Googlebot, Applebot och BingBot och den kommer att sluta göra det. Ersätt den med en explicit inställning per kategori istället för att låta den förfalla till en.

3. Bestäm dig utifrån beteende snarare än varumärke. Sök är den kategori som skickar tillbaka folk, och att tillåta det är standard av en anledning. Agent är ett genuint bedömningsfall: det är hämtningar med en människa som väntar, så att blockera dem innebär att en kund som frågar en assistent om dig får ett svar byggt utan din sida. Träning är den där att vägra kostar dig minst idag.

4. Kontrollera vad din robots.txt redan säger. Kör curl https://yoursite.com/robots.txt. Om Cloudflares hanterade robots.txt är aktiverad kommer du att se innehållssignaler som förklarar att genomsökning för sökning är okej och genomsökning för träning är det inte, och sedan juli bär det blocket också use=reference, som ber maskiner att indexera, utdrag och länka tillbaka snarare än att reproducera. Se till att filen och panelen inte säger olika saker.

5. Avböj skriftligen om du inte vill ha någon ändring. Cloudflare säger att en webbplatsägare som vill behålla sin nuvarande konfiguration kan markera det i Säkerhetsinställningar när som helst före den 15 september, vilket bekräftar att de inte vill ha några ändringar av Tränings-crawlers som också genomsöker för Sök.

6. Övervaka dina loggar efter datumet. Leta efter 403-svar till Googlebot och Bingbot på sitemap- och feed-URL:er, och kontrollera Search Console för genomsökningsfel den veckan. En sökmotor som är utestängd från en annonsbärande sida visar sig som rankingdrift en månad senare.

Slå upp en bot innan du blockerar den

Frågor folk ställer om detta