Cloudflare
Cloudflare sidder foran en stor del af internettet og afgør for mange websteder, om en AI-crawler overhovedet bliver besvaret. Det beskriver sit netværk som håndterende trafik for 20% af internettet[1], og siden 1. juli 2025 blokerer hvert nyt domæne, det overtager, AI-crawlere som standard[2]. Det driver også en betalingsordning pr. anmodning for crawling, et register for verificerede bots og de netværksmålinger, der er angivet for, hvor meget af internettets trafik der nu er maskiner[3].
Blokering som standard
Den 1. juli 2025 gjorde Cloudflare blokering af AI-crawlere til standard for hvert domæne, der tilmelder sig, så en ejer, der ønsker at blive crawlet, skal sige det i stedet for at fravælge det senere[2]. Cloudflare anslår størrelsen af dette netværk til 20% af internettet[1]. Mere end en million kunder havde allerede taget den et-klik-blok, der blev introduceret i september 2024[4]. En robots.txt-regel er derfor ikke den eneste port, en AI-crawler skal passere.
Betal pr. gennemsøgning
Pay Per Crawl trådte i privat beta samme dag, hvilket lader et websted opkræve pr. anmodning ved hjælp af HTTP 402 Payment Required-status: en crawler præsenterer enten betalingshensigt i sine anmodningsheaders og får en 200, eller modtager en 402, der angiver prisen[5]. Hver crawler er indstillet til en af tre tilstande: Tillad for gratis adgang, Opkræv til en fast domæne-dækkende pris, eller Bloker uden betalingsmulighed[6].
Verificerede bots og Perplexity-fundet
En bot kvalificerer sig som verificeret på to tests: den erklærer sig deterministisk gennem en kryptografisk Web Bot Auth-signatur, en offentliggjort IP-liste med en stabil brugeragent eller omvendt DNS; og den opfører sig, adlyder robots.txt og crawl-direktiver, opretholder rimelige anmodningsrater og undgår ikke ejerpræferencer eller angriber websteder[7]. Den 4. august 2025 offentliggjorde Cloudflare beviser for, at Perplexity brugte uerklærede crawlere, der udgav sig for at være Chrome på macOS og roterede på tværs af netværk uden for dets officielle rækkevidde, for at fortsætte med at læse domæner, der havde blokeret PerplexityBot[8]. Cloudflare afregistrerede Perplexity som en verificeret bot og tilføjede administrerede regler mod mønsteret[9].
Hvad netværket måler
I sin 2025 Radar-årsrapport angav Cloudflare AI-bots ud over Googlebot til 4,2% af HTML-anmodningstrafikken på tværs af netværket, med Googlebot selv på 4,5%[10]. Radar-tallene for maj 2026 angiver AI-crawlere til 20,3% af verificeret bot-trafik, med AI-søgebots, der tilføjer yderligere 6,5%[11]. Den 3. juni 2026 angav administrerende direktør Matthew Prince automatiserede systemer til 57,5% af HTTP-anmodninger til webindhold på verdensplan, mod 42,5% fra mennesker[3].
Referencer (11)
- Cloudflare har netop ændret, hvordan AI-crawlere gennemsøger internettet generelt (pressemeddelelse) Arkiv
- Cloudflare har netop ændret, hvordan AI-crawlere gennemsøger internettet generelt (pressemeddelelse) Arkiv
- Bot-trafik overgår mennesker online: Cloudflare siger, at agentisk AI drev 57,5% andel Arkiv
- Cloudflare har netop ændret, hvordan AI-crawlere gennemsøger internettet generelt (pressemeddelelse) Arkiv
- Introduktion af betaling pr. gennemsøgning: Gør det muligt for indholdsejere at få betaling for deres indhold Arkiv
- Introduktion af betaling pr. gennemsøgning: Gør det muligt for indholdsejere at få betaling for deres indhold Arkiv
- Verificerede bots - Cloudflare bot-løsninger docs Arkiv
- Perplexity bruger skjulte, uerklærede crawlere til at omgå webstedets no-crawl-direktiver Arkiv
- Perplexity bruger skjulte, uerklærede crawlere til at omgå webstedets no-crawl-direktiver Arkiv
- Cloudflare Radar Årsrapport 2025
- AI Crawler & Bot Trafikstatistik 2026: Nøgletal
Sidst opdateret 2026-09-04. Skrevet og vedligeholdt af Baseline Labs.
