Cloudflare
Tá Cloudflare os comhair cuid mhór den ghréasán agus cinneann sé, do go leor suíomhanna, an bhfreagraítear crawler AI ar chor ar bith. Déanann sé cur síos ar a líonra mar líonra a láimhseálann trácht do 20% den ghréasán[1], agus ó 1 Iúil 2025 cuireann gach fearann nua a ghlacann sé bac ar crawlers AI de réir réamhshocraithe[2]. Ritheann sé scéim íocaíochta in aghaidh an iarratais le haghaidh crawling freisin, clár róbónna fíoraithe, agus na tomhais líonra a luaitear maidir le cé mhéad de thrácht an ghréasáin atá anois ina mheaisíní[3].
Blocáil de réir réamhshocraithe
Ar 1 Iúil 2025 rinne Cloudflare blocáil crawlers AI mar réamhshocrú do gach fearann a chláraíonn, ionas go gcaithfidh úinéir atá ag iarraidh a bheith crawled é sin a rá in ionad diúltú níos déanaí[2]. Cuireann Cloudflare méid an líonra sin ag 20% den ghréasán[1]. Bhí níos mó ná milliún custaiméir tar éis an bloc aon-chliceáil a tugadh isteach i Meán Fómhair 2024 a ghlacadh cheana féin[4]. Dá bhrí sin, ní hé riail robots.txt an t-aon gheata a chaithfidh crawler AI a rith.
Íoc in aghaidh an Crawl
Chuaigh Pay Per Crawl isteach i béite príobháideach ar an lá céanna, ag ligean do shuíomh táille a ghearradh in aghaidh an iarratais ag baint úsáide as stádas HTTP 402 Payment Required: cuireann crawler intinn íocaíochta i láthair ina cheanntásca iarratais agus faigheann sé 200, nó faigheann sé 402 ag lua an phraghais[5]. Socraítear gach crawler go ceann de thrí stát, Ceadaigh le haghaidh rochtain saor in aisce, Muirear ag praghas comhréidh ar fud an fhearainn, nó Bloc gan aon rogha íocaíochta[6].
Róbónna fíoraithe agus an fionnachtain Perplexity
Cáilíonn róbó mar fhíoraithe ar dhá thástáil: dearbhaíonn sé é féin go cinntitheach, trí shíniú cripteagrafach Web Bot Auth, liosta IP foilsithe le gníomhaire úsáideora cobhsaí, nó DNS droim ar ais; agus iompraíonn sé é féin, ag cloí le robots.txt agus treoracha crawl, ag coinneáil rátaí iarratais réasúnta, agus gan roghanna an úinéara a sheachaint nó ionsaí a dhéanamh ar shuíomhanna[7]. Ar 4 Lúnasa 2025 d'fhoilsigh Cloudflare fianaise go raibh Perplexity ag baint úsáide as crawlers neamhdhearbhaithe a rinne aithris ar Chrome ar macOS agus a rothlaigh trasna líonraí lasmuigh dá raon oifigiúil, chun leanúint ar aghaidh ag léamh fearainn a bhí blocáilte ag PerplexityBot[8]. Dhíliostáil Cloudflare Perplexity mar róbó fíoraithe agus chuir sé rialacha bainistithe leis an bpatrún[9].
Cad a thomhaiseann an líonra
Ina athbhreithniú Radar 2025, chuir Cloudflare róbónna AI seachas Googlebot ag 4.2% de thrácht iarratais HTML ar fud an líonra, le Googlebot féin ag 4.5%[10]. Chuir figiúirí Radar do Bhealtaine 2026 crawlers AI ag 20.3% de thrácht róbónna fíoraithe, le róbónna cuardaigh AI ag cur 6.5% eile leis[11]. Ar 3 Meitheamh 2026 chuir an príomhfheidhmeannach Matthew Prince córais uathoibrithe ag 57.5% d'iarratais HTTP ar ábhar gréasáin ar fud an domhain, i gcoinne 42.5% ó dhaoine[3].
Tagairtí (11)
- D'athraigh Cloudflare Díreach Conas a Scrapeann Crawlers AI an tIdirlíon go hIomlán (preasráiteas) Cartlann
- D'athraigh Cloudflare Díreach Conas a Scrapeann Crawlers AI an tIdirlíon go hIomlán (preasráiteas) Cartlann
- Sáraíonn Trácht Róbónna Daoine Ar Líne: Deir Cloudflare gur Tiomáin AI Gníomhaireach Scair 57.5% Cartlann
- D'athraigh Cloudflare Díreach Conas a Scrapeann Crawlers AI an tIdirlíon go hIomlán (preasráiteas) Cartlann
- Ag tabhairt isteach íoc in aghaidh an crawl: ag cur ar chumas úinéirí ábhair íoc as a n-ábhar Cartlann
- Ag tabhairt isteach íoc in aghaidh an crawl: ag cur ar chumas úinéirí ábhair íoc as a n-ábhar Cartlann
- Róbónna fíoraithe - doiciméid réitigh róbónna Cloudflare Cartlann
- Tá Perplexity ag baint úsáide as crawlers ceilte, neamhdhearbhaithe chun treoracha gan crawl an tsuímh ghréasáin a sheachaint Cartlann
- Tá Perplexity ag baint úsáide as crawlers ceilte, neamhdhearbhaithe chun treoracha gan crawl an tsuímh ghréasáin a sheachaint Cartlann
- Athbhreithniú Bliantúil Radar Cloudflare 2025
- Staitisticí Tráchta Róbónna & Crawler AI 2026: Sonraí Eochair
Nuashonraithe go deireanach 2026-09-04. Scríofa agus á chothabháil ag Baseline Labs.
