Robots.txt

Níl aon chlár de chomharthaí gníomhaire úsáideora ann, mar sin ainmníonn agus doiciméadaíonn gach oibreoir a chuid féin. Ritheann OpenAI GPTBot le haghaidh sonraí oiliúna agus deir sé go gcomharthaíonn Diúltú dó nach ceart ábhar suímh a úsáid chun samhlacha bunúsacha a oiliúint^[3]. Clúdaíonn comharthaí ar leith cuardach agus fógraíocht, cé go bhfaigheann ChatGPT-User leathanach toisc gur iarr duine é, cás ina dtugann OpenAI rabhadh go mb'fhéidir nach mbeidh feidhm ag rialacha robots.txt^[4]. Roinneann Anthropic ClaudeBot, Claude-User agus Claude-SearchBot ar na línte céanna agus deir sé go n-urramaíonn a chuid botanna Diúltú agus Moill-Chráite^[5]. Doiciméadaíonn Perplexity PerplexityBot mar chraoltóir innéacs cuardaigh agus deir sé go ndéanann a chomhartha Perplexity-User neamhaird ar robots.txt go ginearálta^[6]. Tá sonraí in aghaidh an bot san ciclipéid bot.

Chuir Google Google-Extended leis an 28 Meán Fómhair 2023 mar rialú ar an gcuideoidh ábhar suímh le feabhas a chur ar Bard agus ar APIanna giniúna Vertex AI^[7]. Rialaíonn sé anois oiliúint na samhlacha Gemini agus bunú in Aipeanna Gemini agus Vertex AI, agus deir Google nach ndéanann blocáil air difear d'áireamh suímh i gCuardach Google agus nach n-úsáidtear é mar chomhartha rangú ann^[8]. Is dhá luamhán ar leithligh iad an dá rialú ar an gcraoladh céanna: cinneann Googlebot an bhfuil leathanach innéacsaithe, cinneann Google-Extended an gcothaíonn an téacs craolta oiliúint agus bunú Gemini. Mar sin, ní dhéanann blocáil air difear do láithreacht Cuardaigh, Forbhreathnuithe AI san áireamh.

Ní fhorfheidhmíonn aon rud sa phrótacal aon rud. Is féidir le crawláir neamhaird a dhéanamh ar na rialacha, a chéannacht a bhréagnú nó braite a sheachaint ar bhealach eile^[9], agus tuairiscíonn Cloudflare go bhfuil crawláir AI ag déanamh níos mó ná 50 billiún iarratas in aghaidh an lae ar a líonra, díreach faoi bhun 1% de na hiarratais go léir a fheiceann sé, cuid acu ag déanamh neamhaird ar threoracha gan chraoladh^[10]. Fuarthas amach sa chéad tomhas mórscála ar chomhlíonadh, os cionn 130 bot féin-dearbhaithe agus 40 lá de logaí gréasáin institiúideacha, gur lú an seans go gcomhlíonfaidh botanna treoracha níos déine, agus is annamh a iarrann crawláir cuardaigh AI an comhad ar chor ar bith^[11]. Tá foilsitheoirí tar éis an comhad a dhéanamh níos doichte go tapa. Fuarthas amach san iniúchadh Consent in Crisis ar 14,000 fearann gur laistigh de bhliain gur chuir robots.txt srian iomlán ar níos mó ná 5% de na comharthaí go léir sa chorpas C4 agus níos mó ná 28% de na foinsí is gníomhaí a chothabháiltear, le 45% de C4 srianta ag téarmaí seirbhíse^[12]. Féach sonraí oiliúna i gcoinne aisghabhála chun a fháil amach cén fáth a bhfuil iarmhairtí éagsúla ag an dá chineál bloc.

Leathnaíonn dhá iarracht an comhad ó cé atá in ann craoladh go dtí cén fáth a bhfuil an craoladh ann. Cuireann Beartas Comharthaí Ábhair Cloudflare, a fógraíodh an 24 Meán Fómhair 2025, treoir comharthaí ábhair leis a bhfuil luachanna tá nó níl le haghaidh trí úsáid: cuardach, freagraí giniúna agus oiliúint samhlacha^[13]. Chuir a robots.txt bainistithe an beartas i bhfeidhm cheana féin ar níos mó ná 3.8 milliún fearann ag an seoladh^[14]. Tá an grúpa oibre IETF AI Preferences ag caighdeánú an smaoineamh céanna mar stór focal móide sraith modhanna ceangail, robots.txt ina measc^[15]. Faigheann an dá cheann laige an bhunaidh: ní fiú ach an méid a roghnaíonn an léitheoir a thabhairt dó. Déan comparáid idir llms.txt, a iarrann aird seachas í a choinneáil siar, agus margaí ceadúnaithe ábhair, a chuireann conradh in ionad an iarratais.