Cloudflare opdeler AI-bots i tre den 15. september

Én kontakt bliver til tre

Cloudflares argument for at droppe det binære er, at etiketten hele tiden flytter sig. Som deres meddelelse den 1. juli udtrykker det, "vi kunne debattere grænsen for, hvad der kvalificerer som 'AI' i dag, blot for at opdage, at standarden ændrer sig i morgen", så den nye klassifikation spørger, hvad en bot laver på dit websted, snarere end hvilket firma der sendte den. Den fulde taksonomi omfatter elleve adfærdsmønstre, fra Feed Fetching til Security Testing. Tre af dem er dem, som alle kunder, inklusive Free, nu selv kan indstille.

To mindre ændringer følger med. AI-søgning er ikke længere en kategori for sig selv: Cloudflare siger nu, at der ikke er nogen meningsfuld forskel mellem "AI-søgning" og traditionel søgning, og begge er simpelthen Søgning. Og at være en Verificeret bot har ikke længere betydet tilladt. Verifikation gør nu kun en bot berettiget til det, dens kategori tillader, så den kategori, du indstiller, er det, der bestemmer adgangen.

Hvem arver en indstilling, de aldrig har valgt

Læs annonceringen, og du får en snæver ændring. Blogindlægget siger, at den 15. september "for alle nye domæner, der onboardes til Cloudflare, vil kategorierne Træning og Agent som standard blive blokeret på de sider, der viser annoncer, mens Søgning forbliver tilladt som standard". Kun nye domæner. Intet at gøre for nogen, der allerede driver et websted.

Den pressemeddelelse, der blev offentliggjort samme dag, er bredere. Den anvender de nye standardindstillinger på nye kunder og på nye websteder oprettet af eksisterende kunder og tilføjer derefter en sætning, som blogindlægget ikke indeholder: "Den 15. september 2026 vil disse ændringer også blive foretaget for alle eksisterende gratis kunder, der ikke har ændret deres indstillinger inden den 15. september 2026 i deres dashboard." TechCrunch rapporterede de samme tre grupper samme dag. Hvis du er en lille virksomhed på en gratis Cloudflare-plan, der aldrig har åbnet bot-indstillingerne, er pressemeddelelsen det dokument, der beskriver dig, og det er den, der er værd at handle på.

Én grænse er vigtig, før nogen går i panik. Den nye standard slukker ikke for AI-adgang til et helt websted. Den gælder for sider, som Cloudflares automatiske detektion siger viser annoncer, og Cloudflares begrundelse er, at en annonce markerer en side, som en webstedsejer mente, et menneske skulle lande på. Et brochurewebsted uden annoncering arver intet fra den klausul. En udgiver, et opskriftswebsted eller enhver, der driver annoncebeholdning, er lige i den.

Googlebot tæller som en træningsbot

Dette er den del, der kan koste dig rigtige penge, og det har næsten intet at gøre med AI. Googlebot, Applebot og BingBot crawler til søgning og til træning under én brugeragent. Cloudflare løser det ved at anvende den strengeste regel, der gælder, og siger det klart: "multi-purpose crawlere som Googlebot, Applebot og BingBot vil blive blokeret af kunder, der har valgt at blokere Træning (enten gennem de nye muligheder for at administrere AI-trafik, eller gennem den ældre Block AI bots-tjeneste)".

Bemærk anden halvdel af den sætning. Den et-klik "Bloker AI-bots"-knap, som mange små websteder slog til i 2025, udfases den 15. september, og indtil nu har dens dokumentation indeholdt en eksplicit undtagelse: "Denne mulighed udelukker bots med blandet formål, der bruges både til træning og til søgning." Knappen ændrer betydning under de mennesker, der slog den til. Samme knap, samme position, og fra den 15. september tager den Googlebot med sig.

Der er allerede en tidlig observation. Search Engine Journal rapporterede den 4. august om en webstedsejer, der beskrev præcis denne adfærd: "Når jeg indstiller AI Training = Bloker, begynder både Googlebot og Bingbot at modtage HTTP 403-svar, når de forsøger at hente mit sitemap. Så snart jeg deaktiverer AI Training-blokeringen, er sitemap'et tilgængeligt igen." Det er en enkelt rapport snarere end en bekræftet hændelse, og Googles John Mueller bad om at se på det privat. Vi argumenterede sidste år for, at blokering af alle AI-bots allerede kostede brands synlighed, og reglen om blandede crawlere hæver prisen på den brutale version. Tjek dine egne logfiler i stedet for at antage enten det ene eller det andet.

Ingen har offentliggjort, hvilken bot der er hvilken

Det akavede ved dette for enhver, der forsøger at handle på det, er, at Cloudflare ikke har offentliggjort et kort over de nye kategorier pr. bot. De eneste bots, der nævnes i meddelelsen, er ChatGPT-User, angivet som et eksempel på en Agent, Gemini og Claude, der driver Chrome som browser-brugsagenter, og Googlebot, Applebot og BingBot som det blandede Search plus Training-tilfælde. Hvor GPTBot, ClaudeBot, PerplexityBot, Google-Extended eller Bytespider lander, er ikke angivet. Cloudflares egen bot-referencetabel blev sidst opdateret i april 2026 og bruger stadig de tidligere etiketter: AI Crawler, AI Search, AI Assistant, Search Engine. Enhver, der selvsikkert fortæller dig, at GPTBot er Training, har udledt det.

Webstedsejere har ikke ventet på det officielle kort. En gennemlæsning af Cloudflare Radars parsede robots.txt-filer af TechnologyChecker fandt, at udgivere allerede sorterede en virksomheds bots i forskellige bunker: OpenAI's GPTBot blev afvist 2,33 gange for hver tilladelse, mens OpenAI's OAI-SearchBot blev tilladt lidt oftere, end den blev blokeret. Anthropic viser den samme form, med ClaudeBot, der kører 2,39 til 1 imod, og Claude-User stort set på lige fod, og Apples trænings-opt-out-agent Applebot-Extended ligger på 3,24 til 1 imod. Disse er rå domænetællinger fra et enkelt dags snapshot af 4.223 filer taget den 27. juli 2026, ikke en andel af internettet, så læs dem som et mønster snarere end en måling. Mønsteret er den interessante del: folk blokerer træning og tillader besvarelse fra den samme leverandør, manuelt, fordi infrastrukturen indtil nu ikke gav dem nogen måde at sige det på én gang.

Hvilket efterlader dig med at udføre kortlægningen selv, pr. bot, ud fra hvad hver operatør offentliggør om sine egne crawlere. Det er den opgave, vores bot-encyklopædi eksisterer for at udføre: hvem der kører hver brugeragent, hvad den henter, og hvordan man tillader eller blokerer den uden at tage din søgecrawler med ned.

Hvorfor Cloudflare mener, at dette er rimeligt

Sagen hviler på spild og ubalance. Med hensyn til spild siger Cloudflare, at over 50 % af crawl-trafikken fra AI-crawlere bruges på at genhente uændrede sider, hvilket betyder, at din båndbredde betaler for en side, som crawleren allerede har. Med hensyn til ubalance peger den på forholdet mellem crawlede sider og besøgende, der sendes tilbage.

Vær forsigtig med disse forhold, for de nuværende er andenhånds. Cloudflares egen post fra juli 2026 citerer stadig 2025-intervallet fra 118:1 op til næsten 50.000:1. Tallene for 2026 i omløb kommer fra tredjeparter, der læser Cloudflare Radar, og det tydeligste offentliggjorte sæt er SEOmator's, for det rullende 28-dages vindue, der slutter 21. juli 2026.

To forbehold hører til ved siden af hvert af disse tal. Cloudflares egen metodenote siger, at forholdene kan overdrive udtrækket, fordi henvisninger fra native apps ikke bærer en referrer-header og derfor aldrig når nævneren. Og de bevæger sig hurtigt. SEOmator's aflæsning viser, at Anthropic falder fra cirka 57.000:1 til cirka 2.300:1 på seks måneder, drevet af henvisninger, der endelig dukker op, snarere end af et fald i crawling. Et forhold citeret uden sin dato er tæt på meningsløst.

Under retfærdighedsargumentet ligger et konkurrencepræget argument. Cloudflare siger, at den største søgemaskine "har adgang til omkring 2 gange mere information end førende AI-virksomheder, fordi de gør det svært for kunder at forblive synlige uden også at blive brugt til AI", og Matthew Prince nævner håbet bag det: at de foreslåede standardændringer opmuntrer blandede crawlere til at adskille søgning fra agentbrug og træning. Med mere end 20 % af webdomænerne bag Cloudflare er det en løftestang rettet mod Google lige så meget som mod OpenAI. Cloudflare siger også, at automatiserede agenter og bots nu driver mere end halvdelen af alle webanmodninger, hvilket er deres formulering snarere end et fastlagt tal, og vi gennemgik, hvad bot-andelsnumrene understøtter og ikke understøtter i nettet blev maskin-majoritet.

Et ærligt hul ligger under det hele. Værktøjet, der viser dit eget crawl-til-henvisningsforhold pr. operatør, og om tilladelse af søgning giver dig noget, er en Enterprise-funktion, så den lille virksomhed, der bliver bedt om at træffe denne beslutning, kan ikke se beviserne, argumentet er bygget på.

Hvad du faktisk gør

1. Find ud af, hvad du er indstillet til. I Cloudflare-dashboardet er stien Sikkerhedsindstillinger, derefter Konfigurer AI-botpolitikker. Hver af Søg, Agent og Træning tilbyder tre muligheder: bloker på alle sider, bloker på sider med annoncer, eller tillad. Skriv ned, hvad du finder, før du ændrer noget. Mange af disse indstillinger blev lavet af et bureau eller en tidligere udvikler.

2. Behandl den ældre skifte som en beslutning, der skal genovervejes. Hvis "Bloker AI-bots" er slået til, skåner den i øjeblikket Googlebot, Applebot og BingBot, og den vil stoppe med at gøre det. Erstat den med en eksplicit indstilling per kategori i stedet for at lade den falde tilbage til én.

3. Beslut ud fra adfærd snarere end mærke. Søgning er den kategori, der sender folk tilbage, og at tillade den er standard af en grund. Agent er en ægte vurderingssag: det er hentninger med et menneske, der venter, så at blokere dem betyder, at en kunde, der spørger en assistent om dig, får et svar bygget uden din side. Træning er den, hvor afvisning koster dig mindst i dag.

4. Tjek, hvad din robots.txt allerede siger. Kør curl https://yoursite.com/robots.txt. Hvis Cloudflares administrerede robots.txt er aktiveret, vil du se indholdssignaler, der erklærer, at crawling til søgning er fint, og crawling til træning er det ikke, og siden juli bærer den blok også use=reference, som beder maskiner om at indeksere, uddrage og linke tilbage i stedet for at reproducere. Sørg for, at filen og dashboardet ikke siger forskellige ting.

5. Fravælg skriftligt, hvis du ikke ønsker ændringer. Cloudflare siger, at en webstedsejer, der ønsker at beholde deres nuværende konfiguration, kan markere dette i Sikkerhedsindstillinger når som helst før den 15. september, hvilket bekræfter, at de ikke ønsker ændringer i Trænings-crawlere, der også crawler til Søgning.

6. Overvåg dine logfiler efter datoen. Se efter 403-svar til Googlebot og Bingbot på sitemap- og feed-URL'er, og tjek Search Console for crawl-fejl den uge. En søge-crawler, der er udelukket fra en annoncebærende side, viser sig som rangeringsdrift en måned senere.

Slå en bot op, før du blokerer den

Spørgsmål folk stiller om dette