Trænings-scrapere

De større operatører udgiver et token, der alene styrer træningen. Google-Extended afgør, om crawlet indhold må træne fremtidige Gemini-modeller^[6], og Apple er eksplicit om, at Applebot-Extended ikke selv crawler noget: det er en præference, der læses ved træningstidspunktet, og en side, der blokerer den, vises stadig i søgeresultaterne^[7]. Denne adskillelse er pointen. Et websted kan afvise træningskorpusset og beholde indeksindgangen, som en svar-motor citerer fra. Se robots.txt.

Common Crawl er det største delte input. CCBot er en Nutch-baseret crawler bygget på Apache Hadoop^[4], der leverer et korpus på petabytes indsamlet siden 2008^[5]. Common Crawl udgiver en robots.txt-blok, der forhindrer crawleren i at crawle et websted^[8], hvilket virker fremadrettet på crawls, der endnu ikke er foretaget. Tilbagetræknings-tallene nedenfor er derfor målt mod et korpus, C4, snarere end mod en live crawler^[9].

Afvisninger har bevæget sig hurtigt og ujævnt. En revision af 14.000 webdomæner viste, at robots.txt-restriktioner tilføjet på et enkelt år fuldt ud begrænsede mere end 5% af alle C4-tokens og mere end 28% af dets mest aktivt vedligeholdte kilder^[9], med servicevilkår, der dækker 45% af korpusset^[10]. Blandt nyhedssider blokerer 60,0% af velrenommerede medier mindst én AI-crawler mod 9,1% af misinformation-sider^[11], et gab der forvrænger, hvad en model læser. Blokering er ikke gratis: udgivere, der blokerer generative AI-bots, oplever reduceret webtrafik i forhold til dem, der ikke gør^[12]. Overholdelse er i alle tilfælde delvis, da bots adlyder mindre, jo strengere en instruktion bliver^[13].

Blokering blev standarden snarere end en handling. Den 1. juli 2025 ændrede Cloudflare standardindstillingen på sit netværk til at blokere AI-crawlere, medmindre de betaler skabere for deres indhold^[14], og blokering blandt velrenommerede nyhedssider var allerede steget fra 23% i september 2023 til næsten 60% i maj 2025^[15]. Modstykket er betalt adgang snarere end gratis adgang, dækket under indholdslicensaftaler og AI-crawlere.