Cloudflare
Cloudflare sitter foran en stor del av nettet og bestemmer, for mange nettsteder, om en AI-crawler i det hele tatt blir besvart. De beskriver nettverket sitt som å håndtere trafikk for 20 % av nettet[1], og siden 1. juli 2025 blokkerer alle nye domener de tar inn AI-crawlere som standard[2]. De driver også en betalingsordning per forespørsel for crawling, et register for verifiserte roboter, og nettverksmålingene som er sitert for hvor mye av nettets trafikk som nå er maskiner[3].
Blokkerer som standard
Den 1. juli 2025 gjorde Cloudflare blokkering av AI-crawlere til standard for alle domener som registrerer seg, slik at en eier som ønsker å bli crawlet, må si ifra i stedet for å velge bort senere[2]. Cloudflare anslår størrelsen på dette nettverket til 20 % av nettet[1]. Mer enn en million kunder hadde allerede tatt i bruk den ett-klikks blokkeringen som ble introdusert i september 2024[4]. En robots.txt-regel er derfor ikke den eneste porten en AI-crawler må passere.
Betal per gjennomsøkning
Pay Per Crawl gikk inn i privat beta samme dag, og lar et nettsted kreve betaling per forespørsel ved å bruke HTTP 402 Payment Required-statusen: en crawler presenterer enten betalingsintensjon i sine forespørselsoverskrifter og får en 200, eller mottar en 402 som oppgir prisen[5]. Hver crawler er satt til en av tre tilstander: Tillat for gratis tilgang, Belast til en fast domeneomfattende pris, eller Blokker uten betalingsalternativ[6].
Verifiserte roboter og Perplexity-funnet
En robot kvalifiserer som verifisert på to tester: den erklærer seg deterministisk, gjennom en kryptografisk Web Bot Auth-signatur, en publisert IP-liste med en stabil brukeragent, eller omvendt DNS; og den oppfører seg, adlyder robots.txt og gjennomsøkingsdirektiver, holder rimelige forespørselshastigheter, og unngår ikke eierpreferanser eller angriper nettsteder[7]. Den 4. august 2025 publiserte Cloudflare bevis på at Perplexity brukte uerklærte crawlere som utga seg for å være Chrome på macOS og roterte over nettverk utenfor sitt offisielle område, for å fortsette å lese domener som hadde blokkert PerplexityBot[8]. Cloudflare avlistet Perplexity som en verifisert robot og la til administrerte regler mot mønsteret[9].
Hva nettverket måler
I sin Radar-årsoppsummering for 2025 plasserte Cloudflare AI-roboter, bortsett fra Googlebot, på 4,2 % av HTML-forespørselstrafikken over nettverket, med Googlebot selv på 4,5 %[10]. Radar-tall for mai 2026 plasserte AI-crawlere på 20,3 % av verifisert robot-trafikk, med AI-søkeroboter som la til ytterligere 6,5 %[11]. Den 3. juni 2026 plasserte administrerende direktør Matthew Prince automatiserte systemer på 57,5 % av HTTP-forespørslene til nettinnhold over hele verden, mot 42,5 % fra mennesker[3].
Referanser (11)
- Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large (pressemelding) Arkiv
- Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large (pressemelding) Arkiv
- Bot-trafikk overgår mennesker på nettet: Cloudflare sier agentisk AI drev 57,5 % andel Arkiv
- Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large (pressemelding) Arkiv
- Introduksjon av betaling per gjennomsøkning: gjør det mulig for innholdseiere å få betalt for innholdet sitt Arkiv
- Introduksjon av betaling per gjennomsøkning: gjør det mulig for innholdseiere å få betalt for innholdet sitt Arkiv
- Verifiserte roboter – Cloudflare bot-løsninger dokumenter Arkiv
- Perplexity bruker skjulte, uerklærte crawlere for å unngå nettstedets no-crawl-direktiver Arkiv
- Perplexity bruker skjulte, uerklærte crawlere for å unngå nettstedets no-crawl-direktiver Arkiv
- Cloudflare Radar Årsoppsummering 2025
- AI Crawler & Bot Traffic Statistics 2026: Nøkkeldata
Sist oppdatert 2026-09-04. Skrevet og vedlikeholdt av Baseline Labs.
