Het web is nu grotendeels machinaal - kan AI uw site wel lezen?

Bots passeerden de mens 18 maanden te vroeg online

Op 3 juni 2026 plaatste Matthew Prince, CEO van Cloudflare, gegevens van Cloudflare Radar waaruit bleek dat bots voor het eerst de door mensen gegenereerde HTML-verkeer hadden overtroffen. De verdeling: 57,5% bots, 42,5% mensen. Prince had voorspeld dat dit zou gebeuren op SXSW - zijn schatting was ongeveer 18 maanden te vroeg. "Agentisch verkeer groeit zo snel dat bots nu voor het eerst in de geschiedenis van het internet de menselijke verkeer online hebben gepasseerd," schreef hij. Hij voegde eraan toe dat hij "verbijsterd is door de groeisnelheid" van niet-menselijk verkeer. Onafhankelijk daarvan rapporteerde NBC News een marginaal ander cijfer van 57,4% bots / 42,6% mensen uit dezelfde Cloudflare-gegevens, en Prince erkende dat de cijfers "een beetje rommelig zijn... maar duidelijk aan de andere kant nu." Het Imperva Bad Bot Report 2026 (gepubliceerd op 29 april 2026) mat afzonderlijk 53% geautomatiseerd verkeer over alle webverzoeken in 2025 - een andere categorie die API- en app-aanroepen omvat, dus de twee cijfers mogen niet worden gemiddeld, maar ze wijzen dezelfde kant op.

De meeste van die bots zijn geen AI, en de AI-bots sturen nauwelijks verkeer terug

De 57,5% is een totaal bot-cijfer, geen cijfer dat alleen op AI slaat. De eigen analyse van Cloudflare (mei 2026) plaatst AI-crawlers op ongeveer 20,3% van het geverifieerde botverkeer, met AI-zoekbots die daar ongeveer 6,5% bovenop doen. De rest bestaat uit legacy zoekindexeerders, uptime monitors, feed fetchers en security scanners - bots die al tientallen jaren bestaan. En zelfs binnen het AI-segment is 51,8% van de AI-crawlerverzoeken bedoeld voor modeltraining in plaats van voor het tonen van antwoorden in zoekresultaten. Slechts 9,3% van de AI-crawlerverzoeken is voor zoekdoeleinden. Training crawlers leveren effectief nul verwijzend verkeer op: de gegevens van Cloudflare laten zien dat ClaudeBot pagina's bezoekt met een crawl-naar-refer ratio van ongeveer 70.900:1 (juni 2025) en GPTBot met 1.600:1. De gecombineerde crawler van Google zit op een relatief bescheiden 9–10:1. De machine-meerderheid is echt; de samenstelling ervan is enorm belangrijk voor wat u er daadwerkelijk aan moet doen.

Bron: Cloudflare Radar, mei–juni 2026; crawl-naar-refer ratio's uit Cloudflare bloggegevens, juni 2025.

69% van de AI-crawlers kan geen JavaScript uitvoeren - en ze doen niet alsof

Vercel en MERJ analyseerden meer dan 500 miljoen GPTBot-fetches en vonden geen enkel bewijs van JavaScript-uitvoering. GPTBot downloadt JS-bestanden ongeveer 11,5% van de tijd; ClaudeBot doet dat ongeveer 23,8% van de tijd - maar geen van beide voert ze daadwerkelijk uit. Een React-, Vue- of Angular-single-page app serveert deze crawlers een blanco <div id="root"></div> en niets anders. De enige betekenisvolle uitzondering is Gemini: omdat het op de crawler-infrastructuur van Google rijdt, rendert het wel JavaScript. Google's eigen richtlijnen met betrekking tot AI-functies bevestigen renderingcapaciteit als een voorwaarde voor citatie, waardoor crawlers van de Googlebot-familie het enige AI-pad zijn dat client-gerenderde inhoud betrouwbaar ziet. Dat laat 69% van de AI-crawlers buitenspel staan voor de meerderheid van de moderne web-apps.

Bron: Vercel/MERJ - The Rise of the AI Crawler.

Wat deze gegevens u wel - en niet - vertellen

Drie dingen die het waard zijn om naast de kopcijfers te houden:

Verzoeken ≠ betrokkenheid. Het cijfer van 57,5% telt HTTP-verzoeken, niet aandacht, tijd op de pagina of gespendeerd geld. Op basis van elke betrokkenheids- of inkomstenmetriek domineren mensen nog steeds het web met een ruime marge. Prince merkte dit zelf op en merkte op dat de gegevens HTML-verkeer omvatten en het "een beetje rommelig" noemden. Het wijst op waar de dingen naartoe gaan, maar het beweert niet dat AI-agenten al meer uitgeven dan menselijke shoppers.

Weergave vanuit één leverancier. Cloudflare routeert ongeveer 20% van het webverkeer. De steekproef is groot en divers, maar het is niet het hele internet - websites met veel verkeer die Cloudflare omzeilen, zijn onzichtbaar voor deze dataset.

Crawlbaarheid is noodzakelijk, niet voldoende. Uw HTML onder de aandacht brengen van een AI-crawler is slechts de basis. Leesbaar zijn garandeert geen citatie. Trainingsgegevens van modellen hebben een afsnijdatum; retrieval in zoekmodus is selectief; en de bovenstaande verhoudingen tussen crawls en verwijzingen laten zien dat de meeste AI-crawlers niet bezig zijn met het terugsturen van verkeer. Het repareren van uw rendering is een voorwaarde; op zichzelf zal het u geen citatie opleveren.

Server-side rendering is de standaard voor AI-zichtbaarheid

De praktische implicatie is direct: als uw marketing site, landingspagina's of productpagina's pure client-side React of Vue zijn, lezen de crawlers die ertoe doen - GPTBot, ClaudeBot, PerplexityBot - een blanco pagina. Static site generation (SSG) en server-side rendering (SSR) zijn geëvolueerd van een prestatieoptimalisatie naar de minimale drempel om leesbaar te zijn voor de machines die nu de meerderheid op het web vormen. Naast rendering, ontdekte de Vercel/MERJ-studie dat crawlers gestructureerde signalen volgden (sitemaps, canonical tags, schone HTML) betrouwbaarder dan JavaScript-zware navigatie. De documentatie van Google over AI-functies weerspiegelt dit: gestructureerde, crawl-bare markup is de voorwaarde om te verschijnen in door AI gegenereerde antwoorden.

Zie hoe AI uw site leest