Taiscéalaithe cuardaigh

Foilsíonn Google comharthaí robots.txt éagsúla don dá phost. Is é GoogleOther an taiscéalaí cineálach a úsáideann a fhoirne táirgí chun ábhar atá ar fáil go poiblí a aisghabháil^[6], cé go bhfuil Google-Extended ina chomhartha neamhspleách a chinneann an féidir le hábhar taiscéalta samhlacha Gemini amach anseo a oiliúint^[5]. Is féidir le suíomh fanacht san innéacs agus lasmuigh den chorpas oiliúna. Déanann OpenAI an scoilt chéanna a dhoiciméadú, ag rith OAI-SearchBot le haghaidh cuardaigh agus comhartha ar leithligh le haghaidh oiliúna samhla^[2]. Féach scríobairí oiliúna agus robots.txt.

Deir Google go n-urramaíonn a chuid taiscéalaithe coitianta rialacha robots.txt i gcónaí le haghaidh taiscéalta uathoibríocha^[7], agus glacann an prótacal leis sin go díreach: léann taiscéalaí an comhad agus cinneann sé cad atá le leanúint^[1]. Tá an t-údarás ar fud an daonra níos leithne neamhrialta, agus níor tomhaiseadh é ar feadh an chuid is mó de shaol an phrótacail: taifeadann an páipéar 2025 a thástáil é ar dtús ar scála, ar logaí gréasáin institiúideacha anaithnidithe, go raibh an fhianaise roimhe seo scéalaíoch^[8]. Fuair an staidéar sin, ar 130 bot féin-dearbhaithe thar 40 lá, go dtagann laghdú ar chomhlíonadh de réir mar a éiríonn treoir níos déine, agus nach n-iarrann taiscéalaithe cuardaigh AI robots.txt ar chor ar bith go minic^[9], mar sin is iarratas é líne Dhiúltú seachas rialú.

Is é ballraíocht innéacs an réamhchoinníoll le haghaidh luachana. Deir OpenAI nach dtaispeánfar suíomh a roghnaíodh as OAI-SearchBot i bhfreagraí cuardaigh ChatGPT, cé gur féidir leis fós a bheith le feiceáil mar nasc nascleanúna^[2], déanann Anthropic cur síos ar Claude-SearchBot mar anailís ar ábhar chun ábharthacht freagraí cuardaigh a fheabhsú^[3], agus iarrann Perplexity ar mháistrí gréasáin cead a thabhairt do PerplexityBot ionas gur féidir leathanaigh a thaispeáint agus a nascadh^[4]. Má chuirtear bac ar chomhartha cuardaigh innill baintear an leathanach as an linn as a dtarraingítear a chuid freagraí, rud atá ina chinneadh difriúil ó dhiúltú oiliúna. Féach Cuardach ChatGPT, innill freagraí agus foinsí luachana AI.

Is é taiscéaladh cuardaigh an sciar is mó fós d'aisghabháil uathoibrithe. Thaifead Cloudflare go raibh Googlebot ag ardú ó 30% go 50% d'iarratais taiscéalaí idir Bealtaine 2024 agus Bealtaine 2025^[10], le GPTBot ag dul ó 2.2% go 7.7% ar ardú 305% in iarratais^[11]. Ar fud 2025 tháinig 4.5% d'iarratais HTML ar líonra Cloudflare ó Googlebot i gcoinne 4.2% do gach bot AI eile le chéile^[12]. Is mionlach é aisghabháil de chuspóir dearbhaithe bot AI: chuir painéal taiscéalaí díoltóra ó Eanáir go Iúil 2026 aisghabháil cuardaigh nó freagraí ag 11.1% d'iarratais bot AI i gcoinne 46.5% le haghaidh oiliúna^[13]. Féach Cloudflare agus taiscéalaithe AI.