AI-crawlere

En user-agent-streng er et krav, ikke bevis. OpenAI publiserer en separat maskinlesbar IP-områdeliste for hver av sine crawlere, slik at en operatør kan sjekke hvor en forespørsel faktisk kom fra^[2]. Den generelle testen er å matche kilde-IP-en mot operatørens publiserte områder og, der det støttes, kjøre fremoverbekreftet omvendt DNS: PTR-vertsnavnet må ende på operatørens eget domene og fremover-resolvere tilbake til samme IP. Googlebot støtter begge, med 315 publiserte områder^[3].

Lydighet er delvis og operatørspesifikk. En studie av 130 selvdeklarerte roboter over 40 dager, ved bruk av kontrollerte robots.txt-eksperimenter, fant at roboter overholder mindre jo strengere direktivet blir, og at hele kategorier av roboter, AI-søkeroboter blant dem, sjelden sjekker robots.txt i det hele tatt, så en Disallow-linje er ikke en ensartet kontroll^[4].

Forholdet mellom antall sider som er tatt og antall besøkende som er returnert, skiller operatørene med tre størrelsesordener. For de 28 dagene frem til 21. juli 2026, plasserte Cloudflare Radar Mistral på 3 389 sider gjennomsøkt per henvisning, Anthropics ClaudeBot på 2 237, PerplexityBot på 225, GPTBot på 217, Microsoft Copilot på 35 og Google på 4,6^[5]. Tallene endrer seg raskt: det samme panelet plasserte Anthropic på 56 969 til 1 i januar 2026 og 2 363 til 1 i juli, ettersom Claude begynte å sitere og lenke til kilder^[6]. Volumet skiftet like skarpt i løpet av det foregående året, GPTBot steg fra 5 % til 30 % av AI-crawler-trafikken mens ClaudeBot falt 46 % og Bytespider falt 85 %^[7].

Den 1. juli 2025 endret Cloudflare standardinnstillingen på nettverket sitt til å blokkere AI-crawlere med mindre de betaler for innholdet, noe som snudde opt-out-normen^[8]. Blokkering er ikke gratis. En forskjøvet differanse-i-differanse-studie av nyhetsutgivere fant at de som blokkerte GenAI-crawlere mistet omtrent 23 % av SimilarWeb-trafikken (ATT -0,262, 95 % KI -0,352 til -0,173)^[9]. Mønsteret er også ujevnt etter utgivertype: 60,0 % av anerkjente nyhetssider blokkerer minst én AI-crawler mot 9,1 % av feilinformasjonssider, og blokkering blant anerkjente sider steg fra 23 % i september 2023 til nesten 60 % innen mai 2025^[10], noe som forvrenger hva modellene leser. Se ChatGPT-søk og llms.txt.