Cloudflare
Cloudflare ligger framför en stor del av webben och bestämmer, för många webbplatser, om en AI-crawler överhuvudtaget besvaras. De beskriver sitt nätverk som hanterande trafik för 20% av webben[1], och sedan 1 juli 2025 blockerar varje ny domän de tar emot AI-crawlers som standard[2]. De driver också ett betalningssystem per förfrågan för crawling, ett register över verifierade robotar, och nätverksmätningarna som citeras för hur stor del av webbens trafik som nu är maskiner[3].
Blockering som standard
Den 1 juli 2025 gjorde Cloudflare blockering av AI-crawlers till standard för varje domän som registrerar sig, så en ägare som vill bli crawlad måste säga det istället för att välja bort det senare[2]. Cloudflare uppskattar storleken på detta nätverk till 20% av webben[1]. Mer än en miljon kunder hade redan använt den ettklicksblockering som introducerades i september 2024[4]. En robots.txt-regel är därför inte den enda port en AI-crawler måste passera.
Betala per crawl
Pay Per Crawl gick in i privat beta samma dag, vilket låter en webbplats ta betalt per förfrågan med hjälp av HTTP 402 Payment Required-statusen: en crawler presenterar antingen betalningsavsikt i sina förfrågningshuvuden och får en 200, eller får en 402 som anger priset[5]. Varje crawler ställs in på ett av tre tillstånd, Tillåt för fri åtkomst, Avgift till ett fast domänövergripande pris, eller Blockera utan betalningsalternativ[6].
Verifierade robotar och Perplexity-fyndet
En robot kvalificerar sig som verifierad på två tester: den deklarerar sig deterministiskt, genom en kryptografisk Web Bot Auth-signatur, en publicerad IP-lista med en stabil användaragent, eller omvänd DNS; och den beter sig, följer robots.txt och crawl-direktiv, håller rimliga förfrågningshastigheter och undviker inte ägarens preferenser eller attackerar webbplatser[7]. Den 4 augusti 2025 publicerade Cloudflare bevis på att Perplexity använde odeklarerade crawlers som imiterade Chrome på macOS och roterade över nätverk utanför dess officiella räckvidd, för att fortsätta läsa domäner som hade blockerat PerplexityBot[8]. Cloudflare avregistrerade Perplexity som en verifierad robot och lade till hanterade regler mot mönstret[9].
Vad nätverket mäter
I sin Radar-årsöversikt för 2025 uppskattade Cloudflare AI-robotar, förutom Googlebot, till 4,2% av HTML-förfrågningstrafiken över nätverket, med Googlebot själv på 4,5%[10]. Radar-siffror för maj 2026 visade att AI-crawlers stod för 20,3% av den verifierade robottrafiken, med AI-sökrobotar som lade till ytterligare 6,5%[11]. Den 3 juni 2026 uppskattade VD Matthew Prince automatiserade system till 57,5% av HTTP-förfrågningarna till webbinnehåll globalt, jämfört med 42,5% från människor[3].
Referenser (11)
- Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large (pressmeddelande) Arkiv
- Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large (pressmeddelande) Arkiv
- Bot Traffic Passes Humans Online: Cloudflare Says Agentic AI Drove 57.5% Share Arkiv
- Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large (pressmeddelande) Arkiv
- Introducing pay per crawl: enabling content owners to get paid for their content Arkiv
- Introducing pay per crawl: enabling content owners to get paid for their content Arkiv
- Verified bots - Cloudflare bot solutions docs Arkiv
- Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives Arkiv
- Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives Arkiv
- The 2025 Cloudflare Radar Year in Review
- AI Crawler & Bot Traffic Statistics 2026: Key Data
Senast uppdaterad 2026-09-04. Skriven och underhållen av Baseline Labs.
