Nettverket ble nettopp majoritetsmaskin – kan AI i det hele tatt lese nettstedet ditt?

Roboter passerte mennesker på nett – 18 måneder for tidlig

Den 3. juni 2026 publiserte Cloudflare-sjef Matthew Prince data fra Cloudflare Radar som viste at roboter for første gang hadde overgått menneskeskapt HTML-trafikk. Fordelingen: 57,5 % roboter, 42,5 % mennesker. Prince hadde spådd at dette ville skje på SXSW – hans estimat var omtrent 18 måneder unna. "Agentisk trafikk vokser så raskt at roboter nå har passert menneskelig trafikk på nett for første gang i Internettets historie," skrev han. Han la til at han fortsatt er "overveldet av veksthastigheten" av ikke-menneskelig trafikk. Uavhengig rapporterte NBC News en marginalt annerledes lesning på 57,4 % roboter / 42,6 % mennesker fra de samme Cloudflare-dataene, og Prince erkjente at tallene er "litt rotete … men tydelig på den andre siden nå." Imperva Bad Bot Report 2026 (publisert 29. april 2026) målte separat 53 % automatisert trafikk på tvers av alle webforespørsler i 2025 – en annen kategori som inkluderer API- og app-kall, så de to tallene bør ikke gjennomsnittsberegnes, men de peker i samme retning.

De fleste av disse robotene er ikke AI, og AI-robotene sender knapt trafikk tilbake

De 57,5 % er et totalt robot-tall, ikke et AI-kun-tall. Cloudflares egen oversikt (mai 2026) plasserer AI-crawlere på omtrent 20,3 % av verifisert robot-trafikk, med AI-søkeroboter som legger til rundt 6,5 % på toppen. Resten er eldre søkeindekserere, oppetidsmonitorer, feed-henting og sikkerhetsskannere – roboter som har eksistert i flere tiår. Og selv innenfor AI-segmentet er 51,8 % av AI-crawler- forespørsler for modelltrening snarere enn for å vise svar i søk. Bare 9,3 % av AI-crawler-forespørsler er for søkeformål. Trenings-crawlere returnerer effektivt null henvisningstrafikk: Cloudflares data viser at ClaudeBot treffer sider med et crawl-til-henvisningsforhold på omtrent 70 900:1 (juni 2025) og GPTBot på 1 600:1. Googles kombinerte crawler ligger på et sammenlignbart beskjedent 9–10:1. Maskinmajoriteten er reell; dens sammensetning betyr enormt mye for hva du faktisk bør gjøre med det.

Kilde: Cloudflare Radar, mai–juni 2026; forholdstall for crawl-til-henvisning fra Cloudflare bloggdata, juni 2025.

69 % av AI-søkeroboter kan ikke kjøre JavaScript – og de later ikke som noe annet

Vercel og MERJ analyserte mer enn 500 millioner GPTBot-hentinger og fant ingen bevis for JavaScript-utførelse. GPTBot laster ned JS-filer omtrent 11,5 % av tiden; ClaudeBot gjør det rundt 23,8 % av tiden – men ingen av dem kjører dem faktisk. En React, Vue eller Angular enkelt-side app serverer disse søkerobotene en blank <div id="root"></div> og ingenting annet. Det eneste meningsfulle unntaket er Gemini: fordi den bruker Googles søkerobot-infrastruktur, gjengir den JavaScript. Googles egen veiledning om AI-funksjoner bekrefter gjengivelsesevne som en forutsetning for sitering, noe som gjør Googlebot-familie-søkeroboter til den eneste AI-banen som pålitelig ser klientgjengitt innhold. Det etterlater 69 % av AI-søkeroboter utestengt fra flertallet av moderne nettapper.

Kilde: Vercel/MERJ - The Rise of the AI Crawler.

Hva disse dataene forteller – og ikke forteller – deg

Tre ting verdt å huske på i tillegg til hovedtallene:

Forespørsler ≠ engasjement. Tallet på 57,5 % teller HTTP-forespørsler, ikke oppmerksomhet, tid på siden eller penger brukt. Med tanke på engasjement eller inntekter, dominerer mennesker fortsatt nettet med stor margin. Prince påpekte dette selv, og bemerket at dataene dekker HTML-trafikk og kalte det "litt rotete". Det peker på hvor ting er på vei, men det hevder ikke at AI-agenter allerede bruker mer penger enn menneskelige shoppere.

Enkeltleverandørperspektiv. Cloudflare ruter omtrent 20 % av nettrafikken. Utvalget er stort og mangfoldig, men det er ikke hele internett – nettsteder med høy trafikk som omgår Cloudflare er usynlige for dette datasettet.

Gjennomsøkbarhet er nødvendig, ikke tilstrekkelig. Å få HTML-koden din foran en AI-crawler er bare gulvet. Å være lesbar garanterer ikke sitering - 28,3 % av ChatGPTs mest siterte sider har null organisk Google-synlighet, noe som betyr at korrelasjonen mellom gjennomsøkbarhet og sitering er løs i begge retninger. Modelltreningsdata har en grense; søkemodusgjenfinning er selektiv; og forholdene mellom gjennomsøking og henvisning ovenfor viser at de fleste AI-crawlere ikke er ute etter å sende trafikk tilbake. Å fikse gjengivelsen din er en forutsetning; alene vil det ikke gi deg sitering.

Server-side rendering er avgjørende for AI-synlighet

Den praktiske implikasjonen er direkte: hvis markedsføringssiden din, landingssider eller produktsider er ren klient-side React eller Vue, leser de viktige crawlerne – GPTBot, ClaudeBot, PerplexityBot – en tom side (forutsatt at du ikke har ved et uhell blokkert søkerobotene sammen med treningsrobotene). Statisk sidegenerering (SSG) og server-side rendering (SSR) har gått fra en ytelsesoptimalisering til minimumskravet for å være lesbar for maskinene som nå utgjør flertallet på nettet. Utover rendering fant Vercel/MERJ-studien at crawlere fulgte strukturerte signaler (sitemaps, kanoniske tagger, ren HTML) mer pålitelig enn JavaScript-tung navigasjon. Googles AI-funksjonsdokumentasjon gjenspeiler dette: strukturert, crawlbar markup er forutsetningen for å vises i AI-genererte svar.

Se hvordan AI leser nettstedet ditt