Scrapers oiliúna

Foilsíonn na hoibreoirí níos mó comhartha a rialaíonn oiliúint amháin. Cinneann Google-Extended an féidir ábhar craolta a oiliúint ar shamhlacha Gemini amach anseo^[6], agus tá Apple soiléir nach ndéanann Applebot-Extended aon rud a chraoladh é féin: is rogha é a léitear ag am oiliúna, agus tá leathanach a dhiúltaíonn dó fós le feiceáil i dtorthaí cuardaigh^[7]. Sin é an pointe leis an scaradh sin. Is féidir le suíomh diúltú don chorpas oiliúna agus an iontráil innéacs a choinneáil a luann inneall freagraí. Féach robots.txt.

Is é Common Crawl an t-ionchur roinnte is mó. Is craoltóir bunaithe ar Nutch é CCBot a tógadh ar Apache Hadoop^[4], ag cothú corpas de pheiteabhearta a bailíodh ó 2008^[5]. Foilsíonn Common Crawl bloc robots.txt a stopann an craoltóir ó shuíomh a chraoladh^[8], a fheidhmíonn ar aghaidh, ar chraoltaí nár tógadh fós. Dá bhrí sin, déantar na figiúirí aistarraingthe thíos a thomhas i gcoinne corpas, C4, seachas i gcoinne craoltóra beo^[9].

D'athraigh diúltaithe go tapa agus go míchothrom. Fuarthas amach in iniúchadh ar 14,000 fearann gréasáin gur chuir srianta robots.txt a cuireadh leis in aon bhliain amháin srian iomlán ar níos mó ná 5% de gach comhartha C4 agus níos mó ná 28% dá fhoinsí is gníomhaí a chothabháil^[9], le téarmaí seirbhíse a chlúdaíonn 45% den chorpas^[10]. I measc suíomhanna nuachta, diúltaíonn 60.0% de na meáin chreidiúnacha do chraoltóir AI amháin ar a laghad i gcoinne 9.1% de shuíomhanna mífhaisnéise^[11], bearna a shaobhann an méid a léann samhail. Níl blocáil saor in aisce: feiceann foilsitheoirí a bhlocálann róbait AI giniúna trácht suímh laghdaithe i gcoinne na ndaoine nach ndéanann^[12]. Níl an comhlíonadh iomlán ar aon nós, ós rud é go gcloíonn róbait níos lú de réir mar a éiríonn treoir níos déine^[13].

Tháinig blocáil chun bheith mar an réamhshocrú seachas gníomh. Ar 1 Iúil 2025 d'athraigh Cloudflare an réamhshocrú ar a líonra chun craoltóirí AI a bhlocáil mura n-íocann siad cruthaitheoirí as a n-ábhar^[14], agus bhí blocáil i measc suíomhanna nuachta creidiúnacha tar éis ardú cheana féin ó 23% i Meán Fómhair 2023 go dtí beagnach 60% faoi Bhealtaine 2025^[15]. Is é an comhghleacaí rochtain íoctha seachas rochtain saor in aisce, a chumhdaítear faoi comhaontuithe ceadúnaithe ábhair agus craoltóirí AI.