Träningsskrapor

De större operatörerna publicerar en token som enbart kontrollerar träning. Google-Extended avgör om crawlat innehåll får träna framtida Gemini-modeller^[6], och Apple är tydlig med att Applebot-Extended inte själv crawlar något: det är en preferens som läses vid träningstillfället, och en sida som nekar den visas fortfarande i sökresultaten^[7]. Den separationen är poängen. En webbplats kan neka träningskorpusen och behålla indexposten som en svarsmotor citerar från. Se robots.txt.

Common Crawl är den största delade indatan. CCBot är en Nutch-baserad crawler byggd på Apache Hadoop^[4], som matar en korpus på petabyte som samlats in sedan 2008^[5]. Common Crawl publicerar ett robots.txt-block som hindrar crawlern från att crawla en webbplats^[8], vilket verkar framåt, på crawls som ännu inte har gjorts. Uttagssiffrorna nedan mäts därför mot en korpus, C4, snarare än mot en live-crawler^[9].

Nekanden har rört sig snabbt och ojämnt. En granskning av 14 000 webbdomäner fann att robots.txt-restriktioner som lades till under ett enda år helt begränsade mer än 5 % av alla C4-tokens och mer än 28 % av dess mest aktivt underhållna källor^[9], med användarvillkor som täcker 45 % av korpusen^[10]. Bland nyhetssajter nekar 60,0 % av ansedda medier minst en AI-crawler jämfört med 9,1 % av desinformationssajter^[11], ett gap som snedvrider vad en modell läser. Blockering är inte gratis: utgivare som blockerar generativa AI-botar ser minskad webbplatstrafik jämfört med dem som inte gör det^[12]. Efterlevnaden är i alla fall delvis, eftersom botar lyder mindre ju strängare en direktiv blir^[13].

Blockering blev standard snarare än en handling. Den 1 juli 2025 ändrade Cloudflare standardinställningen i sitt nätverk till att blockera AI-crawlers om de inte betalar skapare för deras innehåll^[14], och blockeringen bland ansedda nyhetssajter hade redan klättrat från 23 % i september 2023 till nästan 60 % i maj 2025^[15]. Motparten är betald åtkomst snarare än fri åtkomst, som täcks av innehållslicensavtal och AI-crawlers.