AI-crawlere

En user-agent-streng er en påstand, ikke et bevis. OpenAI udgiver en separat maskinlæsbar IP-områdeliste for hver af sine crawlere, så en operatør kan kontrollere, hvor en anmodning faktisk kom fra^[2]. Den generelle test er at matche kilde-IP'en med operatørens offentliggjorte områder og, hvor det understøttes, køre forward-bekræftet reverse DNS: PTR-værtsnavnet skal ende på operatørens eget domæne og forward-opløse tilbage til den samme IP. Googlebot understøtter begge dele, med 315 offentliggjorte områder^[3].

Lydighed er delvis og operatørspecifik. En undersøgelse af 130 selvudnævnte bots over 40 dage, ved hjælp af kontrollerede robots.txt-eksperimenter, viste, at bots overholder mindre, jo strengere direktivet er, og at hele kategorier af bots, herunder AI-søge-crawlere, sjældent kontrollerer robots.txt overhovedet, så en Disallow-linje er ikke en ensartet kontrol^[4].

Forholdet mellem hentede sider og returnerede besøgende adskiller operatørerne med tre størrelsesordener. I de 28 dage frem til den 21. juli 2026 placerede Cloudflare Radar Mistral på 3.389 crawlede sider per henvisning, Anthropic's ClaudeBot på 2.237, PerplexityBot på 225, GPTBot på 217, Microsoft Copilot på 35 og Google på 4.6^[5]. Tallene bevæger sig hurtigt: det samme panel placerede Anthropic på 56.969 til 1 i januar 2026 og 2.363 til 1 i juli, da Claude begyndte at citere og linke kilder^[6]. Volumen skiftede lige så skarpt i løbet af det foregående år, hvor GPTBot steg fra 5% til 30% af AI-crawler-trafikken, mens ClaudeBot faldt 46% og Bytespider faldt 85%^[7].

Den 1. juli 2025 ændrede Cloudflare standardindstillingen på sit netværk til at blokere AI-crawlere, medmindre de betaler for indholdet, hvilket omvendte opt-out-normen^[8]. Blokering er ikke gratis. En forskudt difference-in-differences-undersøgelse af nyhedsudgivere viste, at de, der blokerede GenAI-crawlere, mistede omkring 23% af deres SimilarWeb-trafik (ATT -0.262, 95% CI -0.352 til -0.173)^[9]. Mønsteret er også ujævnt efter udgivertype: 60,0% af anerkendte nyhedssider blokerer mindst én AI-crawler mod 9,1% af misinformation-sider, og blokering blandt anerkendte sider steg fra 23% i september 2023 til næsten 60% i maj 2025^[10], hvilket forvrænger, hvad modeller læser. Se ChatGPT-søgning og llms.txt.