'Block all AI bots' is now actively costing you visibility

Yksi Disallow rivi, kaksi hyvin erilaista bottia

Kun useimmat sivustot lisäsivät tekoäly-bottien estot, he ajattelivat harjoittelutietoja - ja se oli järkevää. Mutta crawlerit ovat sittemmin lisääntyneet. OpenAI käyttää nyt kolmea erillistä bottia. Anthropic seurasi alkuvuodesta 2026. Yleinen Disallow: / mille tahansa näistä nimistä osuu sekä harjoittelucrawleriin että haku-/hakemistocrawleriin - ja vain toinen niistä vahingoittaa sinua estämällä.

OpenAI:n dokumentaatio on yksiselitteinen: "Sivustot, jotka on jätetty pois OAI-SearchBotista, eivät näy ChatGPT-hakuvastauksissa." Sama logiikka koskee Claude-SearchBotia ja Claude-Useria. Estä ne ja jäät pois reaaliaikaisten tekoäly-vastausten lähteistä. Se ulottuu paljon pidemmälle kuin tulevaisuuden mallin harjoittelu, jonka halusit estää.

Google-rivi ansaitsee oman huomion. Googlen AI Overviews on sidottu sen ydinhaun crawleriin - Google-Extended estäminen jättää sinut pois Gemini-harjoittelusta, mutta ei poista sinua AI Overviewsista. Ero on tärkeä.

GPTBot johtaa estolistan - ja kasvaa edelleen

TechnologyChecker.io skannasi 29,9 miljoonaa aktiivista verkkotunnusta Q1 2026:ssa ja luokitteli tekoälyn crawlerit DISALLOW sääntöjen osuuden mukaan. Tulos: GPTBot on kärjessä ja ohittaa jo vanhemman CCBotin. Suurin osa näistä estoista kirjoitettiin ennen kuin koulutus-/hakujaon ymmärtäminen oli laajasti tunnettu - mikä tarkoittaa, että suuri osa niistä hiljaisesti estää nämä sivustot tekoälyn hakuhausta.

BuzzStreamin analyysi 100 parhaasta yhdysvaltalaisesta ja brittiläisestä uutistoimittajasta (tammikuu 2026) osoitti, että 79 % estää vähintään yhden koulutusbotin - silti Google-Extended oli vähiten estetty koulutuscrawler 46 %:lla kokonaisuudessaan, yhdysvaltalaiset toimittajat (58 %) selvästi edellä brittiläisiä toimittajia (29 %). Toimittajat selvästi haluavat estää - he vain tekevät sen epätarkkasti.

416 miljardia pyyntöä estetty viidessä kuukaudessa

Kun Cloudflare julisti "Content Independence Day" -päivää 1. heinäkuuta 2025 ja alkoi estää tekoälyn crawlerit oletuksena uusilla verkkotunnuksilla, se antoi meille ensimmäisen laajamittaisen kuvan siitä, kuinka paljon tekoälyn crawlausta tapahtuu. Cloudflaren toimitusjohtaja Matthew Prince paljasti kokonaismäärän WIREDin Big Interview -haastattelussa joulukuussa 2025: 416 miljardia tekoälyn bottipyyntöä torjuttu noin viidessä kuukaudessa - noin 2,8 miljardia päivässä. Tämä on täysimittakaavainen teollinen poimimisoperaatio, joka toimii ympäri vuorokauden.

Prince asetti myös Googlen rakenteellisen edun selkeisiin numeroihin (tammikuu 2026, jätetty UK CMA -kuulemisen yhteydessä): "Google hyödyntää hakumonopoliaan nähdäkseen 3,2 kertaa enemmän verkkoa kuin OpenAI, 4,8 kertaa enemmän kuin Microsoft, ja yli 6 kertaa enemmän kuin lähes kaikki muut." Tämä epäsymmetria tarkoittaa, että Googlen crawlerien estäminen maksaa paljon enemmän näkyvyyttä kuin minkään muun toimittajan vastaavan estäminen.

Pay-per-crawl: keskitie muodostuu

Binäärisen sallimisen/kieltämisen sijaan kustantajat alkavat periä pääsystä maksua. Cloudflaren Pay Per Crawl -markkinapaikka (ilmoitettu 2026) antaa kustantajille mahdollisuuden palauttaa HTTP 402 Payment Required vastauksen crawler-price-otsikolla; Cloudflare toimii kauppiaana. Yli miljardi tällaista vastausta lähetetään jo päivittäin Cloudflaren verkossa.

Stack Overflow teki jaon konkreettiseksi helmikuussa 2026: lisenssisopimus Cloudflaren kanssa perii kaupallisen harjoituspääsyn maksua samalla kun yhteisön sisältö pysyy vapaasti luettavana. Harjoitustiedoilla on arvo; hakujen haku auttaa yhteisöä. Yhden maksuttaminen toisen sallimisen sijaan on nyt elävä tuotepäätös – yritykset toimittavat sen todella.

Kaikki esto ei ole väärin

Tämä kirjoitus ei väitä, että kaikki olisi avoimesti saatavilla. On hyviä syitä pitää harjoittelukäytävät poissa, ja sinun tulisi punnita niitä:

• Harjoitustiedoilla on todellinen arvo. Jos sisältösi on alkuperäistä ja auktoritatiivista, harjoittelukäytävät ottavat sen arvon ilmaiseksi. Stack Overflow -sopimus asettaa ennakkotapauksen maksamisesta lahjoittamisen sijaan.
• Harjoittelukäytävät eivät anna attribuutiota tai viittausliikenettä. Toisin kuin hakukonebottien lainaukset, harjoittelupassit eivät jätä jälkeä – sisältösi parantaa mallia ilman tunnustusta ja ilman linkkiä takaisin.
• IP- ja kilpailuriski. Jos sisältösi on omaa tai aluekohtaista tarpeeksi muodostaakseen kilpailuedun, et ehkä halua sitä julkiseen LLM:ään, jota mikä tahansa kilpailija voi kysyä.

Argumentti tässä on kapea: estä harjoittelukäytävät tarkoituksella, jos haluat, mutta tee se nimellä, jotta laaja sääntö ei myös ota kiinni haku-/hakukäytäviä, jotka tuottavat lainauksia ja näkyvyyttä.

Yksi varoitus lisää: robots.txt-täytäntöönpano on vapaaehtoista. Bytespiderillä on dokumentoitu historia sen ohittamisesta. Huijarit käyttävät rutiininomaisesti Chrome-käyttäjäagenteja havaitsemisen välttämiseksi. robots.txt-merkintä ilmaisee mieltymyksesi ja antaa sinulle oikeusperustan valitukselle; se ei teknisesti estä pääsyä. Todellinen hallinta vaatii palvelimen puoleisia sääntöjä, WAF-konfiguraatiota ja vahvistettuja bottisignaaleja (Cloudflaren bottien hallinta voi vahvistaa legitiimit käytävät IP:n ja TLS-sormenjäljen perusteella ennen kuin sallii tai veloittaa niitä). Käsittele robots.txt:ää ensimmäisenä kerroksena, sitten tue sitä yllä olevilla palvelimen puoleisilla säännöillä.

Estä koulutusrobotit nimellä

robots.txt, joka erottaa koulutuksen hausta, näyttää tältä:

Toinen vaihe on tarkistaa, onko CDN tai WAF jo tehnyt tämän päätöksen puolestasi. Cloudflare alkoi estää tekoälyn crawlereita oletuksena kaikilla uusilla verkkotunnuksilla 1. heinäkuuta 2025 alkaen. Jos olet määrittänyt tai siirtänyt verkkotunnuksen kyseisen päivämäärän jälkeen, tekoälyn crawlerit saattavat jo olla estettyjä verkon tasolla - mukaan lukien hakurobotit, jotka haluat sallia. Tarkista Cloudflare-asetuksesi Security → Bots ennen kuin olettaa, että robots.txt tekee työtä.

Kolmas vaihe on mitata nykyinen tekoälyn näkyvyytesi, jotta tiedät, mitä voit menettää tai voittaa. Tämä on se, mitä Baselinesin brändi-skanneri tekee.

Tarkista tekoälyn näkyvyytesi