EnglishDanskAutomatisk oversatDeutschAutomatisch übersetztEspañolTraducción automáticaSuomiAutomaattisesti käännettyFrançaisTraduction automatiqueItalianoTradotto automaticamenteNorskAutomatisk oversattNederlandsAutomatisch vertaaldPolskiPrzetłumaczone automatyczniePortuguêsTraduzido automaticamenteSvenskaAutomatiskt översatt
Maskinoversatt fra den engelske originalen. Se originalen
AI crawlersTechnical SEOWeb trends
Crawlability · GEO

Nettet gikk nettopp majoritet-maskin - kan AI i det hele tatt lese nettstedet ditt?

I juni 2026 overgikk maskiner mennesker på nettet for første gang i internethistorien: 57,5% av HTML-trafikken er nå bots. Den milepælen betyr noe - men det virkelige problemet for de fleste nettsteder er et annet tall: 69% av AI-crawlerne kan ikke kjøre JavaScript. Hvis nettstedet ditt gjengis på klientsiden, ser en LLM en tom side.

George, Baseline Labs-maskoten, som holder en liten vennlig robot

Bots passerte mennesker på nettet - 18 måneder tidligere

Den 3. juni 2026 publiserte Cloudflare-sjef Matthew Prince data fra Cloudflare Radar som viste at bots hadde overgått menneskegenerert HTML-trafikk for første gang. Fordelingen: 57,5% bots, 42,5% mennesker. Prince hadde spådd at dette ville skje på SXSW - estimatet hans var omtrent 18 måneder unøyaktig. «Agentic-trafikk vokser så raskt at bots nå har passert menneskelig trafikk på nettet for første gang i internettets historie,» skrev han. Han la til at han fortsatt er «sjokkert over veksthastigheten» på ikke-menneskelig trafikk. Uavhengig av dette rapporterte NBC News en marginalt annen lesning av 57,4% bots / 42,6% mennesker fra de samme Cloudflare-dataene, og Prince erkjente at tallene er «litt rotete… men klart på den andre siden nå.» Imperva Bad Bot Report 2026 (publisert 29. april 2026) målte separat 53% automatisert trafikk på tvers av alle webforespørsler i 2025 - en annen kategori som inkluderer API- og app-anrop, så de to tallene bør ikke gjennomsnittliggjøres, men de peker samme vei.

57,5%
Bot-andel av HTML-trafikk - juni 2026 (Cloudflare)
53%
Automatisert andel av alle webforespørsler - 2025 (Imperva)
−18mo
Foran Princes eget SXSW-spørsmål

De fleste av disse botene er ikke AI, og de AI-baserte sender knapt trafikk tilbake

De 57,5 % er en total bot-figur, ikke bare AI. Cloudflares egen oversikt (mai 2026) plasserer AI-crawlere på omtrent 20,3 % av verifisert bot-trafikk, med AI-søkebots som legger til rundt 6,5 % på toppen. Resten er eldre søkeindekserer, oppetidskontroller, feed-hentere og sikkerhetsskannere - bots som har eksistert i flere tiår. Og selv innenfor AI-delen, 51,8 % av AI-crawler-forespørslene er for modelltreining i stedet for å vise svar i søk. Bare 9,3 % av AI-crawler-forespørslene er for søkeformål. Treningscrawlere returnerer praktisk talt null referral-trafikk: Cloudflares data viser ClaudeBot som treffer sider med et crawl-til-referral-forhold på omtrent 70 900:1 (juni 2025) og GPTBot på 1 600:1. Googles kombinerte crawler ligger på et relativt beskjedent 9–10:1. Maskinmajoriteten er reell; sammensetningen er enormt viktig for hva du faktisk bør gjøre med det.

Bot-kategori Andel av verifisert bot-trafikk Referral-trafikk-forhold
AI-crawlere (treining)~51,8 % av AI-forespørslerClaudeBot ~70 900:1 · GPTBot ~1 600:1
AI-søkebots~6,5 % av verifiserte botsVarierer; Google AI ~9–10:1
Eldre søkeindekserer, kontroller, feedsRestenTrafikk-genererende

Kilde: Cloudflare Radar, mai–juni 2026; crawl-til-referral-forhold fra Cloudflare-blogdata, juni 2025.

69% av AI-crawlere kan ikke kjøre JavaScript - og de later ikke som om de gjør

Vercel og MERJ analyserte mer enn 500 millioner GPTBot-hentinger og fant null bevis for JavaScript-kjøring. GPTBot laster ned JS-filer omtrent 11,5% av tiden; ClaudeBot gjør det rundt 23,8% av tiden - men ingen av dem kjører dem faktisk. En React-, Vue- eller Angular single-page app serverer disse crawlerne en blank <div id="root"></div> og ingenting annet. Det ene meningsfulle unntaket er Gemini: fordi det bruker Googles crawler-infrastruktur, gjengir det JavaScript. Googles egen veiledning om AI-funksjoner bekrefter gjengivelsesevne som en forutsetning for sitater, noe som gjør Googlebot-familie-crawlere til den eneste AI-stien som pålitelig ser klient-gjengivet innhold. Det etterlater 69% av AI-crawlerne låst ute fra flertallet av moderne nettapper.

69%
AI-crawlere som ikke kan kjøre JavaScript (Vercel/MERJ)
500M+
GPTBot-hentinger analysert - null JS-kjøring funnet
1
Stor AI-crawler som gjengir JS: Gemini (via Googlebot)

Kilde: Vercel/MERJ - The Rise of the AI Crawler.

Hva disse dataene gjør - og ikke gjør - forteller deg

Tre ting som er verdt å holde sammen med overskriftstallene:

Forespørsler ≠ engasjement. Figuren på 57,5% teller HTTP-forespørsler, ikke oppmerksomhet, tid på siden eller penger brukt. Etter enhver engasjements- eller inntektsmåling dominerer mennesker fortsatt nettet med stor margin. Prince flagget dette selv, og bemerket at dataene dekker HTML-trafikk og kalte det "litt rotete." Det peker på hvor tingene går, men det hevder ikke at AI-agenter allerede bruker mer enn menneskelige kjøpere.

Enkeltleverandørvisning. Cloudflare ruter omtrent 20% av netttrafikken. Utvalget er stort og mangfoldig, men det er ikke hele internett - høytrafikkegenskaper som omgår Cloudflare er usynlige for dette datasettet.

Crawlability er nødvendig, ikke tilstrekkelig. Å få HTML-en din foran en AI-crawler er bare gulvet. Å være lesbar garanterer ikke sitater. Modelltreneringsdata har en cutoff; søkemodus-henting er selektiv; og crawl-til-referral-forholdene ovenfor viser at de fleste AI-crawlere ikke er i virksomheten med å sende trafikk tilbake. Å fikse gjengivelsen din er en forutsetning; alene vil det ikke få deg sitert.

Server-side rendering er grunnleggende for AI-synlighet

Den praktiske implikasjonen er direkte: hvis markedsføringssiden din, landingssider eller produktsider er ren klient-side React eller Vue, leser crawlerne som betyr noe - GPTBot, ClaudeBot, PerplexityBot - en blank side. Statisk nettstedgenerering (SSG) og server-side rendering (SSR) har gått fra en ytelsesoptimalisering til minimumsstandarden for å være lesbar for maskinene som nå dominerer nettet. Utover rendering fant Vercel/MERJ-studien at crawlerne fulgte strukturerte signaler (sitemaps, canonical-tagger, ren HTML) mer pålitelig enn JavaScript-tung navigasjon. Googles dokumentasjon for AI-funksjoner gjentok dette: strukturert, crawlbar markup er forutsetningen for å vises i AI-genererte svar.

Tilnærming AI-crawlbar? Merknader
Statisk HTML / SSGJaBeste crawl-dekning på tvers av alle bots
Server-side rendering (SSR)JaRendrer ved forespørselstid; fullt innhold tilgjengelig
Klient-side SPA (React/Vue/Angular)Kun GeminiGPTBot og ClaudeBot ser tomt rotelement
Hybrid (SSR + hydration)JaServer-rendret skal synlig; tryggeste for AI + UX

Se hvordan AI leser nettstedet ditt

Kilder: Cloudflare Radar (HTML-trafikk-split, AI-crawler-fordeling, crawl-til-referral-forhold, mai–juni 2026); Matthew Prince via The Decoder (3. juni 2026); Vercel/MERJ - The Rise of the AI Crawler (JS-kjøringsanalyse, 500M+ GPTBot-hentinger); Google Search Central - AI-funksjoner (renderingskrav); Imperva Bad Bot Report 2026 (53% automatisert trafikk-tall, publisert 29. april 2026). NBC News (57,4%/42,6% split, uavhengig lesing av Cloudflare-data).

George
Online
0%

Hi, I'm George.

Ask me about your projects, reports, brand mentions, backlinks, or anything on the platform.