Treningsskrapere

De større operatørene publiserer et token som kun kontrollerer trening. Google-Extended bestemmer om crawlet innhold kan trene fremtidige Gemini-modeller^[6], og Apple er eksplisitt på at Applebot-Extended ikke selv crawler noe: det er en preferanse som leses ved treningstid, og en side som ikke tillater den, vises fortsatt i søkeresultatene^[7]. Denne separasjonen er poenget. Et nettsted kan nekte treningskorpuset og beholde indeksinnføringen en svar-motor siterer fra. Se robots.txt.

Common Crawl er den største delte inndataen. CCBot er en Nutch-basert crawler bygget på Apache Hadoop^[4], som mater et korpus på petabyte samlet siden 2008^[5]. Common Crawl publiserer en robots.txt-blokk som hindrer crawleren i å crawle et nettsted^[8], som virker fremover, på crawls som ennå ikke er tatt. Uttakstallene nedenfor er derfor målt mot et korpus, C4, snarere enn mot en live crawler^[9].

Avslag har beveget seg raskt og ujevnt. En revisjon av 14 000 webdomener fant at robots.txt-restriksjoner lagt til i løpet av ett enkelt år fullt ut begrenset mer enn 5 % av alle C4-tokens og mer enn 28 % av de mest aktivt vedlikeholdte kildene^[9], med vilkår for bruk som dekker 45 % av korpuset^[10]. Blant nyhetssider tillater 60,0 % av anerkjente utsalgssteder minst én AI-crawler, mot 9,1 % av feilinformasjonssider^[11], et gap som forvrenger hva en modell leser. Blokking er ikke gratis: utgivere som blokkerer generative AI-roboter ser redusert nettstedtrafikk sammenlignet med de som ikke gjør det^[12]. Overholdelse er uansett delvis, siden roboter adlyder mindre jo strengere en instruksjon blir^[13].

Blokking ble standarden snarere enn en handling. Den 1. juli 2025 endret Cloudflare standardinnstillingen på nettverket sitt til å blokkere AI-crawlere med mindre de betaler skapere for innholdet sitt^[14], og blokkering blant anerkjente nyhetssider hadde allerede steget fra 23 % i september 2023 til nesten 60 % innen mai 2025^[15]. Motstykket er betalt tilgang snarere enn gratis tilgang, dekket under innholdslisensavtaler og AI-crawlere.