The web just went majority-machine - can AI even read your site?

Bots passed humans online - 18 months early

On 3 June 2026, Cloudflare CEO Matthew Prince posted data from Cloudflare Radar showing that bots had surpassed human-generated HTML traffic for the first time. The split: 57.5% bots, 42.5% humans. Prince had forecast this would happen at SXSW - his estimate was roughly 18 months out. "Agentic traffic growing so fast that bots have now passed human traffic online for the first time in the Internet's history," he wrote. He added he remains "stunned by the rate of growth" of nonhuman traffic. Independently, NBC News reported a marginally different read of 57.4% bots / 42.6% humans from the same Cloudflare data, and Prince acknowledged the figures are "a bit messy… but clearly on the other side now." The Imperva Bad Bot Report 2026 (published April 29, 2026) separately measured 53% automated traffic across all web requests in 2025 - a different basket that includes API and app calls, so the two figures shouldn't be averaged, but they point the same direction.

La maggior parte di questi bot non sono IA, e quelli di IA inviano pochissimo traffico di ritorno

Il 57,5% è una cifra totale di bot, non solo di IA. L'analisi di Cloudflare (maggio 2026) colloca i crawler IA a circa il 20,3% del traffico bot verificato, con i bot di ricerca IA che aggiungono circa il 6,5% in più. Il resto sono indicizzatori di ricerca legacy, monitor di uptime, fetcher di feed e scanner di sicurezza: bot che esistono da decenni. E anche all'interno della fetta IA, il 51,8% delle richieste dei crawler IA è per l'addestramento dei modelli piuttosto che per la visualizzazione di risposte nella ricerca. Solo il 9,3% delle richieste dei crawler IA è per scopi di ricerca. I crawler di addestramento restituiscono effettivamente zero traffico di riferimento: i dati di Cloudflare mostrano ClaudeBot che accede alle pagine con un rapporto crawl-to-refer di circa 70.900:1 (giugno 2025) e GPTBot a 1.600:1. Il crawler combinato di Google si attesta su un modesto 9–10:1. La maggioranza delle macchine è reale; la sua composizione è enormemente importante per ciò che dovresti effettivamente fare al riguardo.

Fonte: Cloudflare Radar, maggio-giugno 2026; rapporti crawl-to-refer dai dati del blog di Cloudflare, giugno 2025.

Il 69% dei crawler AI non esegue JavaScript e non finge il contrario

Vercel e MERJ hanno analizzato oltre 500 milioni di fetch di GPTBot e non hanno trovato alcuna prova di esecuzione di JavaScript. GPTBot scarica file JS circa l'11,5% delle volte; ClaudeBot lo fa circa il 23,8% delle volte, ma nessuno dei due li esegue effettivamente. Un'app a pagina singola React, Vue o Angular serve a questi crawler una pagina bianca <div id="root"></div> e null'altro. L'unica eccezione significativa è Gemini: poiché sfrutta l'infrastruttura crawler di Google, esegue il rendering di JavaScript. La guida di Google sulle funzionalità AI conferma la capacità di rendering come prerequisito per la citazione, rendendo i crawler della famiglia Googlebot l'unico percorso AI che vede in modo affidabile i contenuti renderizzati lato client. Ciò lascia il 69% dei crawler AI bloccato fuori dalla maggior parte delle moderne app web.

Fonte: Vercel/MERJ - The Rise of the AI Crawler.

Cosa questi dati ti dicono - e cosa non ti dicono

Tre cose da tenere a mente insieme ai numeri principali:

Richieste ≠ coinvolgimento. La cifra del 57,5% conta le richieste HTTP, non l'attenzione, il tempo sulla pagina o il denaro speso. Per qualsiasi metrica di coinvolgimento o di entrate, gli esseri umani dominano ancora il web per un ampio margine. Prince lo ha sottolineato lui stesso, notando che i dati coprono il traffico HTML e definendolo "un po' confuso". Indica dove le cose stanno andando, ma non afferma che gli agenti AI stiano già spendendo più degli acquirenti umani.

Visione da fornitore singolo. Cloudflare gestisce circa il 20% del traffico web. Il suo campione è ampio e diversificato, ma non è l'intero internet: le proprietà ad alto traffico che bypassano Cloudflare sono invisibili a questo set di dati.

La crawlability è necessaria, non sufficiente. Far arrivare il tuo HTML davanti a un crawler AI è solo il punto di partenza. Essere leggibili non garantisce la citazione. I dati di addestramento dei modelli hanno una data di scadenza; il recupero in modalità di ricerca è selettivo; e i rapporti crawl-to-refer sopra mostrano che la maggior parte dei crawler AI non si occupa di inviare traffico indietro. Correggere il tuo rendering è un prerequisito; da solo non ti farà citare.

Il rendering lato server è fondamentale per la visibilità dell'IA

L'implicazione pratica è diretta: se il tuo sito di marketing, le landing page o le pagine prodotto sono puro React o Vue lato client, i crawler che contano - GPTBot, ClaudeBot, PerplexityBot - leggono una pagina vuota. La generazione di siti statici (SSG) e il rendering lato server (SSR) sono passati da un'ottimizzazione delle prestazioni al requisito minimo per essere leggibili dalle macchine che ora costituiscono la maggioranza del web. Oltre al rendering, lo studio Vercel/MERJ ha rilevato che i crawler seguivano i segnali strutturati (sitemap, tag canonici, HTML pulito) in modo più affidabile rispetto alla navigazione ricca di JavaScript. La documentazione di Google sulle funzionalità AI fa eco a questo: il markup strutturato e indicizzabile è il prerequisito per apparire nelle risposte generate dall'IA.

Vedi come l'IA legge il tuo sito