Cloudflare deler AI-roboter i tre den 15. september

Én bryter blir tre

Cloudflares argument for å droppe binæren er at merkelappen stadig flytter seg. Som kunngjøringen 1. juli sier, "vi kunne diskutere grensen for hva som kvalifiserer som 'AI' i dag, bare for å finne at standarden endres i morgen", så den nye klassifiseringen spør hva en bot gjør på nettstedet ditt i stedet for hvilket selskap som sendte den. Den fullstendige taksonomien omfatter elleve atferder, fra Feed Fetching til Security Testing. Tre av dem er de som alle kunder, inkludert Free, nå kan sette selv.

To mindre endringer følger med. AI-søk er ikke lenger en egen kategori: Cloudflare sier nå at det er ingen meningsfull forskjell mellom "AI-søk" og tradisjonelt søk, og begge er ganske enkelt Søk. Og å være en verifisert bot har sluttet å bety tillatt. Verifisering gjør nå bare en bot kvalifisert for det kategorien tillater, så kategorien du angir er det som bestemmer tilgangen.

Hvem arver en innstilling de aldri valgte

Les kunngjøringen, og du får en snever endring. Blogginnlegget sier at den 15. september, "for alle nye domener som tas i bruk på Cloudflare, vil kategoriene Trening og Agent blokkeres som standard på sidene som viser annonser, mens Søk vil forbli tillatt som standard". Kun nye domener. Ingenting å gjøre for noen som allerede driver et nettsted.

Den pressemeldingen publisert samme dag er bredere. Den anvender de nye standardinnstillingene på nye kunder og på nye nettsteder opprettet av eksisterende kunder, og legger deretter til en setning som blogginnlegget ikke inneholder: "Den 15. september 2026 vil disse endringene også gjøres for alle eksisterende gratiskunder som ikke har endret innstillingene sine innen 15. september 2026 i dashbordet sitt." TechCrunch rapporterte de samme tre gruppene samme dag. Hvis du er en liten bedrift på en gratis Cloudflare-plan som aldri har åpnet bot-innstillingene, er pressemeldingen dokumentet som beskriver deg, og det er den det er verdt å handle etter.

Én grense er viktig før noen får panikk. Den nye standardinnstillingen slår ikke av AI-tilgang til et helt nettsted. Den gjelder for sider som Cloudflares automatiserte deteksjon sier viser annonser, og Cloudflares begrunnelse er at en annonse markerer en side som en nettstedseier mente et menneske skulle lande på. Et brosjyrenettsted uten annonsering arver ingenting fra den klausulen. En utgiver, et oppskriftsnettsted eller noen som driver annonsebeholdning, er rett i den.

Googlebot teller som en treningsbot

Dette er delen som kan koste deg ekte penger, og det har nesten ingenting med AI å gjøre. Googlebot, Applebot og BingBot gjennomsøker for søk og for trening under én brukeragent. Cloudflare løser dette ved å ta den strengeste regelen som gjelder, og sier det rett ut: "multi-purpose crawlers such as Googlebot, Applebot, and BingBot will be blocked by customers who have selected to block Training (either through the new options to manage AI traffic, or through the legacy Block AI bots service)".

Legg merke til den andre halvdelen av den setningen. Den ett-klikks "Block AI bots"-bryteren som mange små nettsteder slo på i 2025, blir avviklet 15. september, og frem til nå hadde dokumentasjonen en eksplisitt unntaksbestemmelse: "This option excludes mixed-purpose bots that are used both for Training and for Search." Bryteren endrer betydning under de som slo den på. Samme bryter, samme posisjon, og fra 15. september tar den med seg Googlebot.

Det er allerede en tidlig observasjon. Search Engine Journal rapporterte 4. august at en nettstedseier beskrev nøyaktig denne oppførselen: "When I set AI Training = Block, both Googlebot and Bingbot start receiving HTTP 403 responses when trying to fetch my sitemap. As soon as I disable the AI Training block, the sitemap is accessible again." Det er én rapport snarere enn en bekreftet hendelse, og Googles John Mueller ba om å få se på det privat. Vi argumenterte i fjor for at å blokkere alle AI-roboter allerede kostet merkevarer synlighet, og regelen for blandede søkeroboter øker prisen for den brutale versjonen. Sjekk dine egne logger i stedet for å anta det ene eller det andre.

Ingen har publisert hvilken bot som er hvilken

Det vanskelige for alle som prøver å handle på dette, er at Cloudflare ikke har publisert et per-bot-kart over de nye kategoriene. De eneste botene som er navngitt noe sted i kunngjøringen, er ChatGPT-User, gitt som et eksempel på en Agent, Gemini og Claude som driver Chrome som nettleser-brukeragenter, og Googlebot, Applebot og BingBot som det blandede søk pluss trenings-tilfellet. Hvor GPTBot, ClaudeBot, PerplexityBot, Google-Extended eller Bytespider lander, er ikke oppgitt. Cloudflares egen bot-referansetabell ble sist oppdatert i april 2026 og bruker fortsatt de tidligere etikettene: AI Crawler, AI Search, AI Assistant, Search Engine. Alle som selvsikkert forteller deg at GPTBot er trening, har utledet det.

Nettstedseiere har ikke ventet på det offisielle kartet. En lesning av Cloudflare Radars parsede robots.txt-filer av TechnologyChecker fant at utgivere allerede sorterte ett selskaps roboter i forskjellige hauger: OpenAI's GPTBot ble nektet 2,33 ganger for hver tillatelse, mens OpenAI's OAI-SearchBot er tillatt litt oftere enn den blir blokkert. Anthropic viser samme form, med ClaudeBot som kjører 2,39 mot 1 og Claude-User omtrent på paritet, og Apples trenings-opt-out-agent Applebot-Extended sitter på 3,24 mot 1. Dette er rå domenetall fra et endags øyeblikksbilde av 4 223 filer tatt 27. juli 2026, ikke en andel av nettet, så les dem som et mønster snarere enn en måling. Mønsteret er den interessante delen: folk blokkerer trening og tillater svar fra samme leverandør, for hånd, fordi infrastrukturen frem til nå ikke ga dem noen måte å si det en gang på.

Hvilket etterlater deg med å gjøre kartleggingen selv, per bot, fra det hver operatør publiserer om sine egne crawlere. Det er jobben vår bot-leksikon eksisterer for å gjøre: hvem som driver hver brukeragent, hva den henter for, og hvordan du kan tillate eller blokkere den uten å ta ned søkecrawleren din med den.

Hvorfor Cloudflare mener dette er rettferdig

Saken hviler på sløsing og ubalanse. Når det gjelder sløsing, sier Cloudflare at over 50 % av søketrafikken fra AI-crawlere brukes på å hente uendrede sider på nytt, noe som betyr at båndbredden din betaler for en side crawleren allerede har. Når det gjelder ubalanse, peker de på forholdet mellom sider som er crawlet og besøkende som sendes tilbake.

Vær forsiktig med disse forholdstallene, for de nåværende er annenhånds. Cloudflares egen post fra juli 2026 siterer fortsatt use=reference2025-intervallet fra 118:1 opp til nesten 50 000:1. 2026-tallene i omløp kommer fra tredjeparter som leser Cloudflare Radar, og det tydeligste publiserte settet er SEOmator sitt, for det rullende 28-dagers vinduet som endte 21. juli 2026.

To forbehold hører hjemme ved hvert av disse tallene. Cloudflares egen metodenotat sier at forholdstallene kan overvurdere utvinning, fordi henvisninger fra native apper ikke har en referrer-header og derfor aldri når nevneren. Og de beveger seg raskt. SEOmator's lesning viser at Anthropic faller fra omtrent 57 000:1 til omtrent 2 300:1 på seks måneder, drevet av at henvisninger endelig dukker opp i stedet for et fall i crawling. Et forholdstall sitert uten dato er nesten meningsløst.

Under rettferdighetsargumentet ligger et konkurranseargument. Cloudflare sier at den største søkemotoren "har tilgang til omtrent 2 ganger mer informasjon enn ledende AI-selskaper fordi de gjør det vanskelig for kunder å forbli synlige uten også å bli brukt til AI", og Matthew Prince nevner håpet bak det: at de foreslåtte standardendringene oppmuntrer blandede søkeroboter til å skille søk fra agentbruk og trening. Med mer enn 20 % av webdomener bak Cloudflare, er dette en spak rettet mot Google like mye som mot OpenAI. Cloudflare sier også at automatiserte agenter og roboter nå driver mer enn halvparten av alle webforespørsler, noe som er deres formulering snarere enn et fastsatt tall, og vi gikk gjennom hva bot-andels-tallene støtter og ikke støtter i nettet ble maskin-majoritet.

Et ærlig gap ligger under alt dette. Verktøyene som viser ditt eget crawl-til-henvisningsforhold per operatør, og om det å tillate søk gir deg noe, er en Enterprise-funksjon, så den lille bedriften som blir bedt om å ta denne avgjørelsen, kan ikke se bevisene argumentet er bygget på.

Hva du faktisk gjør

1. Finn ut hva du er satt til. I Cloudflare-dashbordet er banen Sikkerhetsinnstillinger, deretter Konfigurer AI-bot-policyer. Hver av Søk, Agent og Trening tilbyr tre alternativer: blokker på alle sider, blokker på sider med annonser, eller tillat. Skriv ned hva du finner før du endrer noe. Mange av disse innstillingene ble laget av et byrå eller en tidligere utvikler.

2. Behandle den gamle veksleknappen som en beslutning som skal tas på nytt. Hvis "Blokker AI-roboter" er på, sparer den for øyeblikket Googlebot, Applebot og BingBot, og den vil slutte å gjøre det. Erstatt den med en eksplisitt innstilling per kategori i stedet for å la den forfalle til en.

3. Bestem deg etter atferd snarere enn etter merke. Søk er kategorien som sender folk tilbake, og å tillate det er standard av en grunn. Agent er en ekte vurdering: det er hentinger med en menneskelig ventende, så å blokkere dem betyr at en kunde som spør en assistent om deg får et svar bygget uten siden din. Trening er den der å nekte koster deg minst i dag.

4. Sjekk hva robots.txt allerede sier. Kjør curl https://yoursite.com/robots.txt. Hvis Cloudflares administrerte robots.txt er aktivert, vil du se innholdssignaler som erklærer at indeksering for søk er greit og indeksering for trening ikke er det, og siden juli bærer den blokken også use=reference, som ber maskiner om å indeksere, utdrag og lenke tilbake i stedet for å reprodusere. Sørg for at filen og dashbordet ikke sier forskjellige ting.

5. Meld deg av skriftlig hvis du ikke ønsker endring. Cloudflare sier at en nettstedseier som ønsker å beholde sin nåværende konfigurasjon kan merke det i sikkerhetsinnstillingene når som helst før 15. september, noe som bekrefter at de ikke ønsker endringer i treningscrawlere som også crawler for søk.

6. Se loggene dine etter datoen. Se etter 403-svar til Googlebot og Bingbot på sitemap- og feed-URL-er, og sjekk Search Console for indekseringsfeil den uken. En søkecrawler som er utestengt fra en annonsebærende side, vises som rangeringsdrift en måned senere.

Slå opp en bot før du blokkerer den

Spørsmål folk stiller om dette