Web meni juuri enemmistöltään koneiksi - pystyykö tekoäly edes lukemaan sivustoasi?

Botit ohittivat ihmiset verkossa - 18 kuukautta etuajassa

3. kesäkuuta 2026 Cloudflaren toimitusjohtaja Matthew Prince julkaisi tietoja Cloudflare Radarista, jotka osoittivat, että botit olivat ensimmäistä kertaa ylittäneet ihmisten tuottaman HTML-liikenteen. Jakauma: 57,5 % botteja, 42,5 % ihmisiä. Prince oli ennustanut tämän tapahtuvan SXSW:ssä - hänen arviossaan oli noin 18 kuukauden virhe. "Agenttimainen liikenne kasvaa niin nopeasti, että botit ovat nyt ensimmäistä kertaa internetin historiassa ylittäneet ihmisten liikenteen verkossa," hän kirjoitti. Hän lisäsi olevansa "hämmästynyt ei-inhimillisen liikenteen kasvun nopeudesta". Itsenäisesti NBC News raportoi hieman erilaisen lukeman 57,4 % botteja / 42,6 % ihmisiä samoista Cloudflare-tiedoista, ja Prince myönsi, että luvut ovat "hieman sekavat… mutta selvästi toisella puolella nyt." Impervan Bad Bot Report 2026 (julkaistu 29. huhtikuuta 2026) mittasi erikseen 53 % automatisoitua liikennettä kaikista verkkopyyntöistä vuonna 2025 - eri kategoria, joka sisältää API- ja sovelluspyynnöt, joten näitä kahta lukua ei pitäisi keskiarvoistaa, mutta ne osoittavat samaan suuntaan.

Suurin osa näistä boteista ei ole tekoälyä, ja tekoäly-botit lähettävät tuskin liikennettä takaisin

57,5 % on kokonaisbot-luku, ei pelkästään tekoäly-luku. Cloudflaren oman erittelyn (toukokuu 2026) mukaan tekoäly-crawlerit muodostavat noin 20,3 % vahvistetusta bot-liikenteestä, ja tekoäly-hakubotit lisäävät noin 6,5 % lisää. Loput ovat perintöisiä hakuindeksaajia, käytettävyysmonitoreja, syötteen hakijoita ja turvallisuusskannereita – botteja, jotka ovat olleet olemassa vuosikymmeniä. Ja jopa tekoäly-osassa 51,8 % tekoäly-crawler-pyynnöistä on mallin koulutukseen sen sijaan, että ne näyttäisivät vastauksia haussa. Vain 9,3 % tekoäly-crawler-pyynnöistä on hakutarkoituksiin. Koulutus-crawlerit palauttavat käytännössä nolla viittausliikenettä: Cloudflaren tiedot osoittavat ClaudeBotin osumia sivuilla crawl-to-refer-suhteella noin 70 900:1 (kesäkuu 2025) ja GPTBot 1 600:1. Googlen yhdistetty crawler on vertailun vuoksi vaatimattomampi 9–10:1. Koneiden enemmistö on todellinen; sen koostumus on erittäin tärkeä sille, mitä sinun tulisi todella tehdä siitä.

Lähde: Cloudflare Radar, toukokuu–kesäkuu 2026; crawl-to-refer-suhteet Cloudflare-blogin tiedoista, kesäkuu 2025.

69% tekoälyn crawlereista ei pysty suorittamaan JavaScriptiä – eivätkä he teeskentele muuta

Vercel ja MERJ analysoivat yli 500 miljoonaa GPTBot-hakua ja eivät löytäneet mitään näyttöä JavaScriptin suorittamisesta. GPTBot lataa JS-tiedostoja noin 11,5 % ajasta; ClaudeBot tekee niin noin 23,8 % ajasta – mutta kumpikaan ei itse asiassa suorita niitä. React-, Vue- tai Angular-pohjainen single-page-sovellus näyttää näille crawlereille tyhjää <div id="root"></div> ja mitään muuta. Ainoa merkittävä poikkeus on Gemini: koska se käyttää Googlen crawler-infrastruktuuria, se renderöi JavaScriptiä. Googlen omat ohjeet tekoälyn ominaisuuksista vahvistavat renderöintikyvyn edellytyksenä lainauksille, mikä tekee Googlebot-perheen crawlereista ainoan tekoälyn polun, joka luotettavasti näkee asiakaalla renderöidyn sisällön. Tämä jättää 69 % tekoälyn crawlereista lukittujen ulkopuolelle suurimmasta osasta moderneja web-sovelluksia.

Lähde: Vercel/MERJ - The Rise of the AI Crawler.

Mitä nämä tiedot kertovat – ja eivät kerro

Kolme asiaa, jotka kannattaa pitää mielessä otsikon numeroiden rinnalla:

Pyynnöt ≠ sitoutuminen. 57,5 % luku laskee HTTP-pyyntöjä, ei huomiota, sivulla vietettyä aikaa tai rahaa. Millä tahansa sitoutumisen tai tulojen mittarilla ihmiset hallitsevat verkkoa edelleen suurella marginaalilla. Prince itse huomautti tästä, huomioiden, että tiedot kattavat HTML-liikenteen ja kutsuivat sitä "hieman sekavaksi". Se osoittaa, mihin asiat ovat menossa, mutta se ei väitä, että tekoälyn agentit jo käyttävät enemmän kuin ihmiset ostajat.

Yhden toimittajan näkymä. Cloudflare reitittää noin 20 % verkon liikenteestä. Sen näyte on suuri ja monipuolinen, mutta se ei ole koko internet – korkean liikenteen ominaisuudet, jotka ohittavat Cloudflaren, ovat näkymättömiä tälle tietojoukolle.

Crawlattavuus on välttämätön, mutta ei riittävä. HTML:n saaminen tekoälyn crawlerin eteen on vain pohja. Luettavuus ei takaa lainausta. Mallin harjoitustiedoilla on raja; hakutilan haku on valikoivaa; ja yllä olevat crawl-to-refer-suhteet osoittavat, että useimmat tekoälyn crawlerit eivät ole liikenteen lähettämisen bisneksessa. Renderöinnin korjaaminen on edellytys; itsessään se ei saa sinut lainatuksi.

Palvelinpuolen renderöinti on välttämätöntä tekoälyn näkyvyydelle

Käytännön seuraus on suora: jos markkinointisivustosi, saapumissivut tai tuotesivut ovat puhtaasti asiakaspuolen React tai Vue, botit joilla on merkitystä - GPTBot, ClaudeBot, PerplexityBot - lukevat tyhjää sivua. Staattinen sivun generointi (SSG) ja palvelinpuolen renderöinti (SSR) ovat muuttuneet suorituskyvyn optimoinnista verkon koneiden luettavuuden vähimmäisvaatimukseksi. Renderöinnin lisäksi Vercelin/MERJ-tutkimus osoitti, että botit seurasivat strukturoituja signaaleja (sivukartat, kanonisten tunnisteiden, puhtaan HTML:n) luotettavammin kuin JavaScript-raskaita navigaatioita. Googlen tekoälyn ominaisuuksien dokumentaatio vahvistaa tämän: strukturoitu, haettava merkintä on edellytys näkymiselle tekoälyn tuottamissa vastauksissa.

Katso kuinka tekoäly lukee sivustoasi