Le web vient de devenir majoritairement machine - l'IA peut-elle même lire votre site ?

Les bots ont dépassé les humains en ligne - 18 mois plus tôt

Le 3 juin 2026, le PDG de Cloudflare, Matthew Prince, a publié des données de Cloudflare Radar montrant que les bots avaient surpassé le trafic HTML généré par les humains pour la première fois. La répartition : 57,5 % bots, 42,5 % humains. Prince avait prédit que cela se produirait à SXSW - son estimation était d'environ 18 mois. « Le trafic agentic croît si vite que les bots ont maintenant surpassé le trafic humain en ligne pour la première fois dans l' histoire d'Internet », a-t-il écrit. Il a ajouté qu'il reste « stupéfait par le taux de croissance » du trafic non humain. Indépendamment, NBC News a rapporté une lecture légèrement différente de 57,4 % bots / 42,6 % humains à partir des mêmes données de Cloudflare, et Prince a reconnu que les chiffres sont « un peu confus… mais clairement de l'autre côté maintenant. » Le Bad Bot Report 2026 d'Imperva (publié le 29 avril 2026) a mesuré séparément 53 % de trafic automatisé sur toutes les requêtes web en 2025 - un panier différent qui inclut les appels API et d'application, donc les deux chiffres ne doivent pas être moyennés, mais ils pointent dans la même direction.

La plupart de ces bots ne sont pas de l'IA, et ceux qui en sont envoient à peine du trafic en retour

Les 57,5 % représentent un chiffre total de bots, pas un chiffre réservé à l'IA. La propre ventilation de Cloudflare (mai 2026) place les crawlers IA à environ 20,3 % du trafic de bots vérifiés, avec les bots de recherche IA ajoutant environ 6,5 % en plus. Le reste comprend les indexeurs de recherche hérités, les moniteurs de disponibilité, les récupérateurs de flux et les scanners de sécurité - des bots qui existent depuis des décennies. Et même dans la part IA, 51,8 % des requêtes de crawler IA sont destinées à l'entraînement des modèles plutôt qu'à l'affichage de réponses dans la recherche. Seulement 9,3 % des requêtes de crawler IA sont destinées à des fins de recherche. Les crawlers d'entraînement retournent effectivement zéro trafic de référence : les données de Cloudflare montrent que ClaudeBot accède aux pages avec un ratio crawl-to-refer d'environ 70 900:1 (juin 2025) et GPTBot à 1 600:1. Le crawler combiné de Google se situe à un ratio comparativement modeste de 9–10:1. La majorité des machines est réelle ; sa composition est extrêmement importante pour déterminer ce que vous devriez réellement faire à ce sujet.

Source : Cloudflare Radar, mai–juin 2026 ; ratios crawl-to-refer provenant des données du blog Cloudflare, juin 2025.

69% des crawlers IA ne peuvent pas exécuter JavaScript - et ils ne prétendent pas le contraire

Vercel et MERJ ont analysé plus de 500 millions de récupérations GPTBot et n'ont trouvé aucune preuve d'exécution JavaScript. GPTBot télécharge les fichiers JS environ 11,5% du temps ; ClaudeBot le fait environ 23,8% du temps - mais aucun des deux ne les exécute réellement. Une application monopage React, Vue ou Angular sert à ces crawlers une page vierge <div id="root"></div> et rien d'autre. La seule exception significative est Gemini : parce qu'il utilise l'infrastructure de crawler de Google, il rend JavaScript. Les propres directives de Google sur les fonctionnalités IA confirment la capacité de rendu comme condition préalable aux citations, ce qui fait des crawlers de la famille Googlebot le seul chemin IA qui voit de manière fiable le contenu rendu côté client. Cela laisse 69% des crawlers IA bloqués de la majorité des applications web modernes.

Source : Vercel/MERJ - The Rise of the AI Crawler.

Ce que ces données vous disent - et ne vous disent pas

Trois choses à considérer aux côtés des chiffres principaux :

Les requêtes ≠ l'engagement. Le chiffre de 57,5% compte les requêtes HTTP, pas l'attention, le temps passé sur la page ou l'argent dépensé. Par toute métrique d'engagement ou de revenu, les humains dominent toujours le web par une large marge. Prince l'a lui-même signalé, notant que les données couvrent le trafic HTML et l'appelant « un peu confus ». Cela indique où les choses se dirigent, mais cela ne prétend pas que les agents IA dépensent déjà plus que les acheteurs humains.

Vue d'un seul fournisseur. Cloudflare achemine environ 20% du trafic web. Son échantillon est large et diversifié, mais ce n'est pas l'ensemble d'Internet - les propriétés à fort trafic qui contournent Cloudflare sont invisibles à cet ensemble de données.

La crawlabilité est nécessaire, pas suffisante. Mettre votre HTML devant un crawler IA n'est que le minimum. Être lisible ne garantit pas une citation. Les données d'entraînement des modèles ont une date limite ; la récupération en mode recherche est sélective ; et les ratios crawl-to-refer ci-dessus montrent que la plupart des crawlers IA ne sont pas dans le métier de renvoyer du trafic. Corriger votre rendu est une condition préalable ; en soi, cela ne vous fera pas citer.

Le rendu côté serveur est essentiel pour la visibilité de l'IA

L'implication pratique est directe : si votre site marketing, vos pages de destination ou vos pages produit sont du React ou Vue pur côté client, les crawlers qui comptent - GPTBot, ClaudeBot, PerplexityBot - lisent une page vierge. La génération de sites statiques (SSG) et le rendu côté serveur (SSR) sont passés d'une optimisation de performance à la barre minimale pour être lisible par les machines qui dominent désormais le web. Au-delà du rendu, l'étude Vercel/MERJ a constaté que les crawlers suivaient les signaux structurés (sitemaps, balises canoniques, HTML propre) plus fiablement que la navigation lourde en JavaScript. La documentation des fonctionnalités IA de Google l'affirme : le balisage structuré et crawlable est la condition préalable pour apparaître dans les réponses générées par l'IA.

Voir comment l'IA lit votre site