Das Web ist gerade zur Mehrheit maschinell geworden – können KI-Systeme deine Website überhaupt lesen?

Bots überholten Menschen online – 18 Monate früher

Am 3. Juni 2026 veröffentlichte Cloudflare-CEO Matthew Prince Daten von Cloudflare Radar, die zeigten, dass Bots den von Menschen generierten HTML-Verkehr zum ersten Mal übertroffen hatten. Die Aufteilung: 57,5% Bots, 42,5% Menschen. Prince hatte prognostiziert, dass dies auf der SXSW geschehen würde – seine Schätzung lag um etwa 18 Monate daneben. „Der Agentic-Verkehr wächst so schnell, dass Bots jetzt zum ersten Mal in der Internetgeschichte den menschlichen Verkehr online übertroffen haben", schrieb er. Er fügte hinzu, dass er von der Wachstumsgeschwindigkeit des nicht-menschlichen Verkehrs „sprachlos" ist. Unabhängig davon berichtete NBC News eine leicht abweichende Auswertung der gleichen Cloudflare-Daten mit 57,4% Bots / 42,6% Menschen, und Prince bestätigte, dass die Zahlen „etwas ungenau sind… aber eindeutig auf der anderen Seite jetzt." Der Imperva Bad Bot Report 2026 (veröffentlicht am 29. April 2026) maß separat 53% automatisierter Verkehr über alle Web-Anfragen im Jahr 2025 – ein anderes Spektrum, das auch API- und App-Aufrufe umfasst, daher sollten die beiden Zahlen nicht gemittelt werden, aber sie deuten in die gleiche Richtung.

Die meisten dieser Bots sind keine KI, und die KI-Bots senden kaum Traffic zurück

Die 57,5% sind eine Gesamtbot-Zahl, keine reine KI-Zahl. Cloudflares eigene Aufschlüsselung (Mai 2026) ordnet KI-Crawler mit etwa 20,3% des verifizierten Bot-Traffics ein, wobei KI-Suchbots etwa 6,5% hinzufügen. Der Rest sind Legacy-Suchindexierer, Uptime-Monitore, Feed-Fetcher und Sicherheitsscanner – Bots, die es seit Jahrzehnten gibt. Und selbst innerhalb des KI-Anteils sind 51,8% der KI-Crawler-Anfragen für das Modelltraining bestimmt, nicht für die Anzeige von Antworten in der Suche. Nur 9,3% der KI-Crawler-Anfragen dienen Suchzwecken. Trainings-Crawler geben praktisch keinen Referral-Traffic zurück: Cloudflares Daten zeigen ClaudeBot mit einem Crawl-zu-Referral-Verhältnis von etwa 70.900:1 (Juni 2025) und GPTBot mit 1.600:1. Googles kombinierter Crawler liegt mit 9–10:1 vergleichsweise bescheiden. Die Maschinenmehrheit ist real; ihre Zusammensetzung ist enorm wichtig für das, was Sie tatsächlich dagegen tun sollten.

Quelle: Cloudflare Radar, Mai–Juni 2026; Crawl-zu-Referral-Verhältnisse aus Cloudflare-Blog-Daten, Juni 2025.

69% der KI-Crawler können JavaScript nicht ausführen – und geben das auch zu

Vercel und MERJ analysierten mehr als 500 Millionen GPTBot-Abrufe und fanden keine Hinweise auf JavaScript-Ausführung. GPTBot lädt JS-Dateien etwa 11,5% der Zeit herunter; ClaudeBot etwa 23,8% der Zeit – aber keiner führt sie tatsächlich aus. Eine React-, Vue- oder Angular-Single-Page-App serviert diesen Crawlern eine leere <div id="root"></div> und nichts anderes. Die einzige bedeutsame Ausnahme ist Gemini: Da es auf Googles Crawler-Infrastruktur läuft, rendert es JavaScript. Googles eigene Anleitung zu KI-Funktionen bestätigt Rendering-Fähigkeit als Voraussetzung für Zitierungen, was Googlebot-Familie-Crawler zum einzigen KI-Pfad macht, der zuverlässig Client-gerenderter Inhalte sieht. Das lässt 69% der KI-Crawler außerhalb der Mehrheit moderner Web-Apps.

Quelle: Vercel/MERJ - The Rise of the AI Crawler.

Was diese Daten aussagen – und nicht aussagen

Drei Dinge, die es neben den Schlagzahlen zu beachten gilt:

Anfragen ≠ Engagement. Die 57,5%-Zahl zählt HTTP-Anfragen, nicht Aufmerksamkeit, Verweildauer oder ausgegebenes Geld. Nach jedem Engagement- oder Umsatzmaßstab dominieren Menschen das Web immer noch deutlich. Prince hat dies selbst erwähnt und bemerkt, dass die Daten HTML-Traffic abdecken und es „etwas unübersichtlich" ist. Es deutet darauf hin, wohin sich die Dinge entwickeln, behauptet aber nicht, dass KI-Agenten bereits mehr ausgeben als menschliche Käufer.

Einzelne Anbieter-Perspektive. Cloudflare leitet etwa 20% des Web-Traffics weiter. Seine Stichprobe ist groß und vielfältig, ist aber nicht das ganze Internet – hochfrequente Eigenschaften, die Cloudflare umgehen, sind für diesen Datensatz unsichtbar.

Crawlbarkeit ist notwendig, aber nicht ausreichend. Dein HTML vor einen KI-Crawler zu bringen ist nur die Grundlage. Lesbarkeit garantiert keine Zitierung. Trainingsdaten von Modellen haben einen Stichtag; Such-Modus-Abruf ist selektiv; und die oben gezeigten Crawl-zu-Verweis-Verhältnisse zeigen, dass die meisten KI-Crawler nicht daran interessiert sind, Traffic zurückzusenden. Das Rendering zu beheben ist eine Voraussetzung; allein wird es dir nicht zu Zitierungen verhelfen.

Server-seitiges Rendering ist unverzichtbar für AI-Sichtbarkeit

Die praktische Konsequenz ist unmittelbar: Wenn Ihre Marketing-Website, Landing Pages oder Produktseiten reines Client-seitiges React oder Vue sind, lesen die Crawler, die zählen – GPTBot, ClaudeBot, PerplexityBot – eine leere Seite. Static Site Generation (SSG) und Server-Side Rendering (SSR) haben sich von einer Performance-Optimierung zur Mindestanforderung für die Lesbarkeit durch die Maschinen entwickelt, die jetzt die Mehrheit des Webs ausmachen. Über das Rendering hinaus stellte die Vercel/MERJ-Studie fest, dass Crawler strukturierte Signale (Sitemaps, kanonische Tags, sauberes HTML) zuverlässiger verfolgten als JavaScript-lastige Navigation. Googles Dokumentation zu AI-Features bestätigt dies: strukturiertes, crawlbares Markup ist die Voraussetzung für das Erscheinen in KI-generierten Antworten.

Sehen Sie, wie AI Ihre Website liest