Tá 'Cuir bac ar gach róbat AI' ag cur as do infheictheacht anois

Líne Disallow amháin, dhá róbat an-difriúla

Nuair a chuir an chuid is mó de na suíomhanna bloic róbait AI leis, bhí siad ag smaoineamh ar shonraí oiliúna - agus bhí sé sin réasúnta. Ach tá na crawlers iolraithe ó shin. Ritheann OpenAI trí róbat ar leith anois. Lean Anthropic go luath in 2026. Gabhann blaincéad Disallow: / d'aon cheann de na hainmneacha seo an crawler oiliúna agus an crawler cuardaigh/aisghabhála - agus ní dhéanann ach ceann amháin díobh sin dochar duit a bhlocáil.

Tá doiciméadú OpenAI gan athbhrí: "Ní thaispeánfar suíomhanna atá díolmhaithe ó OAI-SearchBot i bhfreagraí cuardaigh ChatGPT." Baineann an loighic chéanna le Claude-SearchBot agus Claude-User. Má bhlocálann tú iad, díolmhóidh tú féin ó lua i bhfreagraí AI fíor-ama. Sroicheann sé sin i bhfad níos faide ná an oiliúint samhail sa todhchaí a bhí tú ag iarraidh a stopadh.

Tá nóta ar leith tuillte ag sraith Google. Tá Forbhreathnuithe AI Google ceangailte lena chroíchuardach-chraoltóir - má chuirtear bac Google-Extended air, ní bheidh tú san áireamh i dtraenáil Gemini, ach ní dhéanann sé aon rud chun tú a bhaint de na Forbhreathnuithe AI. Tá tábhacht leis an idirdhealú.

Tá GPTBot chun tosaigh ar an liosta blocáilte - agus ag fás i gcónaí

Rinne TechnologyChecker.io scanadh ar 29.9 milliún fearann gníomhach i R1 2026 agus rangaithe crawlers AI de réir sciar de DISALLOW rialacha. An toradh: Tá GPTBot ag barr an liosta, ag dul thar an CCBot níos sine cheana féin. Scríobhadh an chuid is mó de na bloic seo sular tuigeadh go forleathan an scoilt idir oiliúint/cuardach - rud a chiallaíonn go bhfuil cuid mhór díobh ag roghnú amach go ciúin na suíomhanna sin ó luachan cuardaigh AI.

Fuair anailís BuzzStream ar 100 foilsitheoir nuachta is fearr sna SA agus sa RA (Eanáir 2026) amach go bhfuil 79% ag blocáil bot oiliúna amháin ar a laghad - ach ba é Google-Extended an crawler oiliúna ba lú a bhí blocáilte ag 46% san iomlán, le foilsitheoirí SAM (58%) i bhfad chun tosaigh ar fhoilsitheoirí na RA (29%). Is léir go bhfuil foilsitheoirí ag iarraidh blocáil - níl siad ach blunt faoin gcaoi a ndéanann siad é.

416 billiún iarratas blocáilte i gcúig mhí

Nuair a d'fhógair Cloudflare "Lá Neamhspleáchais an Ábhair" ar 1 Iúil 2025 agus thosaigh sé ag blocáil snáithneoirí AI de réir réamhshocraithe ar fhearainn nua, thug sé an chéad léargas mórscála dúinn ar an méid snáithneoireachta AI atá ag tarlú — faoi Mheitheamh 2026, bhí róbónna tar éis daoine a shárú mar an chuid is mó de thrácht HTML. Nocht Príomhfheidhmeannach Cloudflare, Matthew Prince, an t-iomlán ag Agallamh Mór WIRED i mí na Nollag 2025: 416 billiún iarratas róbó AI curtha ar ceal i gceann cúig mhí - timpeall 2.8 billiún in aghaidh an lae. Is oibríocht eastóscadh tionsclaíoch lánscála é sin atá ag rith timpeall an chloig.

Chuir Prince buntáiste struchtúrach Google i bhfigiúirí soiléire freisin (Eanáir 2026, comhdaithe in éineacht le comhairliúchán CMA na RA): "Baineann Google leas as a monaplacht cuardaigh chun 3.2x an oiread den ghréasán a fheiceáil le OpenAI, 4.8x an oiread le Microsoft, agus níos mó ná 6x an oiread le beagnach gach duine eile." Ciallaíonn an neamhshiméadracht sin go gcosnaíonn blocáil snáithneoirí Google i bhfad níos mó infheictheachta ná blocáil coibhéiseach aon díoltóra eile.

Íoc-in-aghaidh-an-chraolta: tá bealach idirmheánach ag teacht chun cinn

In ionad ceadú/blocáil dhénártha, tá foilsitheoirí ag tosú ag gearradh táille ar rochtain. Ligeann margadh Pay Per Crawl Cloudflare (fógartha 2026) do fhoilsitheoirí freagra HTTP 402 Payment Required a thabhairt ar ais le ceanntásc praghas-craoltóra; feidhmíonn Cloudflare mar Mharsanta Taifeadta. Tá os cionn billiún freagra den sórt sin ag dul amach cheana féin in aghaidh an lae ar líonra Cloudflare.

Rinne Stack Overflow an scoilt nithiúil i mí Feabhra 2026: gearrann comhaontú ceadúnaithe le Cloudflare táille ar rochtain tráchtála oiliúna agus coinníonn sé ábhar an phobail inléite saor in aisce. Tá luach ag sonraí oiliúna; cabhraíonn aisghabháil cuardaigh leis an bpobal. Is cinneadh táirge beo anois é táille a ghearradh ar cheann amháin agus an ceann eile a cheadú - tá cuideachtaí á sheoladh i ndáiríre.

Níl gach bac mícheart

Níl an post seo ag argóint ar son rochtain oscailte ar gach rud. Tá cúiseanna láidre ann le craoltóirí oiliúna a choinneáil amach, agus ba chóir duit iad a mheá:

• Tá fíorluach ag sonraí oiliúna. Má tá d'inneachar bunaidh agus údarásach, tá craoltóirí oiliúna ag baint an luach sin saor in aisce. Cruthaíonn an margadh Stack Overflow fasach le haghaidh táille a ghearradh seachas bronntanas a thabhairt.
• Ní thugann craoltóirí oiliúna aon aitheantas agus aon trácht atreoraithe. Murab ionann agus luachana ó róbait chuardaigh, ní fhágann pasanna oiliúna aon lorg - feabhsaíonn d'inneachar samhail gan aon aitheantas agus gan aon nasc ar ais.
• Riosca IP agus iomaíochta. Má tá d'inneachar dílseánaigh nó sainiúil don réimse go leor chun moat a chruthú, b'fhéidir nach mbeadh tú ag iarraidh é a bhácáil isteach i LLM poiblí ar féidir le haon iomaitheoir ceist a chur air.

Tá an argóint anseo cúng: cuir bac ar chraoltóirí oiliúna d'aon ghnó má roghnaíonn tú, ach déan é de réir ainm, ionas nach ngabhfaidh riail leathan na róbait chuardaigh/aisghabhála a thiomáineann luachana agus infheictheacht.

Rabhadh amháin eile: tá forfheidhmiú robots.txt deonach. Tá stair dhoiciméadaithe ag Bytespider maidir le neamhaird a dhéanamh air. Úsáideann spooferí gníomhairí úsáideora Chrome go rialta chun braite a sheachaint. Comharthaíonn iontráil robots.txt do rogha agus tugann sé bonn dlíthiúil duit le haghaidh gearáin; ní chuireann sé cosc teicniúil ar rochtain. Teastaíonn rialacha ar thaobh an fhreastalaí, cumraíocht WAF, agus comharthaí róbait fíoraithe (is féidir le bainistíocht róbait Cloudflare craoltóirí dlisteanacha a fhíorú de réir IP agus méarlorg TLS sula gceadaítear nó sula ngearrtar táille orthu). Caith le robots.txt mar do chéad chiseal, ansin tacaigh leis leis na rialuithe ar thaobh an fhreastalaí thuas.

Cuir bac ar na róbait oiliúna de réir ainm

Seo mar a fhéachann robots.txt a dhéanann idirdhealú idir oiliúint agus cuardach:

Is é an dara céim ná a sheiceáil an bhfuil an cinneadh seo déanta cheana féin ag do CDN nó WAF. Thosaigh Cloudflare ag blocáil crawlers AI de réir réamhshocraithe ar gach fearann nua ó 1 Iúil 2025. Má shocraigh tú nó má d'aistrigh tú fearann tar éis an dáta sin, d'fhéadfadh crawlers AI a bheith blocáilte cheana féin ag an gciseal líonra - lena n-áirítear na róbait chuardaigh a d'fhéadfá a cheadú. Seiceáil do shocruithe Cloudflare Security → Bots sula nglacann tú leis go bhfuil do robots.txt ag déanamh na hoibre.

Is é an tríú céim ná do infheictheacht AI reatha a thomhas ionas go mbeidh a fhios agat cad atá le cailleadh nó le gnóthú agat. Sin é a dhéanann scanóir branda Baseline.

Déan iniúchadh ar d'infheictheacht AI