'Block all AI bots' kostet Sie jetzt aktiv an Sichtbarkeit

Eine Disallow Zeile, zwei sehr unterschiedliche Bots

Als die meisten Websites KI-Bot-Blöcke hinzufügten, dachten sie an Trainingsdaten - und das war vernünftig. Aber die Crawler haben sich seitdem vervielfacht. OpenAI betreibt jetzt drei unterschiedliche Bots. Anthropic folgte Anfang 2026. Ein pauschales Disallow: / für einen dieser Namen erfasst sowohl den Trainings-Crawler als auch den Such-/Abruf-Crawler - und nur einer dieser schadet Ihnen, wenn Sie ihn blockieren.

OpenAIs Dokumentation ist unmissverständlich: „Websites, die sich von OAI-SearchBot abmelden, werden nicht in ChatGPT-Suchantworten angezeigt." Die gleiche Logik gilt für Claude-SearchBot und Claude-User. Blockieren Sie diese und Sie melden sich selbst von Zitaten in Echtzeit-KI-Antworten ab. Das geht weit über das zukünftige Modelltraining hinaus, das Sie stoppen wollten.

Die Google-Zeile verdient eine eigene Anmerkung. Googles KI-Overviews sind mit seinem Kern-Such-Crawler gebündelt - das Blockieren von Google-Extended meldet Sie vom Gemini-Training ab, hat aber keine Auswirkung darauf, Sie aus KI-Overviews zu entfernen. Die Unterscheidung ist wichtig.

GPTBot führt die Blockliste an – und wächst weiter

TechnologyChecker.io hat im Q1 2026 29,9 Millionen aktive Domains gescannt und AI-Crawler nach ihrem Anteil an DISALLOW Regeln eingestuft. Das Ergebnis: GPTBot sitzt an der Spitze und überholt bereits den älteren CCBot. Die meisten dieser Blöcke wurden geschrieben, bevor die Aufteilung zwischen Training und Suche weit verbreitet verstanden wurde – was bedeutet, dass ein großer Teil davon diese Websites stillschweigend von AI-Suchzitaten ausschließt.

Eine BuzzStream-Analyse der 100 Top-Nachrichtenmedien aus den USA und Großbritannien (Januar 2026) ergab, dass 79% mindestens einen Training-Bot blockieren – doch Google-Extended war der am wenigsten blockierte Training-Crawler mit insgesamt 46%, wobei US-Verlage (58%) weit vor britischen Verlagen (29%) lagen. Verlage wollen eindeutig blockieren – sie gehen nur grob vor, wie sie es tun.

416 Milliarden Anfragen in fünf Monaten blockiert

Als Cloudflare am 1. Juli 2025 den „Content Independence Day" ausrief und begann, AI-Crawler standardmäßig auf neuen Domains zu blockieren, gab es uns das erste großflächige Bild davon, wie viel AI-Crawling stattfindet. Cloudflare-CEO Matthew Prince offenbarte die Gesamtzahl in WIREDs Big Interview im Dezember 2025: 416 Milliarden AI-Bot-Anfragen in etwa fünf Monaten abgewehrt – etwa 2,8 Milliarden pro Tag. Das ist ein großflächiger industrieller Extraktionsbetrieb, der rund um die Uhr läuft.

Prince legte auch Googles strukturellen Vorteil in klaren Zahlen dar (Januar 2026, eingereicht neben der UK CMA-Konsultation): „Google nutzt sein Suchmonopol, um 3,2x so viel des Webs zu sehen wie OpenAI, 4,8x so viel wie Microsoft und mehr als 6x so viel wie fast alle anderen." Diese Asymmetrie bedeutet, dass das Blockieren von Google-Crawlern weit mehr Sichtbarkeit kostet als das Blockieren des entsprechenden Crawlers eines anderen Anbieters.

Pay-per-crawl: Ein Mittelweg zeichnet sich ab

Anstelle von binärem Zulassen/Blockieren beginnen Verlage, Zugang zu berechnen. Der Pay Per Crawl Marketplace von Cloudflare (angekündigt 2026) ermöglicht es Verlegern, eine HTTP 402 Payment Required Antwort mit einem Crawler-Preis-Header zurückzugeben; Cloudflare fungiert als Merchant of Record. Über eine Milliarde solcher Antworten gehen bereits täglich im Cloudflare-Netzwerk aus.

Stack Overflow machte die Aufteilung im Februar 2026 konkret: Ein Lizenzabkommen mit Cloudflare berechnet kommerziellen Trainingszugang, während der Inhalt der Community frei lesbar bleibt. Trainingsdaten haben Wert; Suchretrieval hilft der Community. Die Berechnung für das eine, während das andere erlaubt ist, ist jetzt eine Live-Produktentscheidung – Unternehmen setzen sie tatsächlich um.

Nicht alles Blockieren ist falsch

Dieser Beitrag argumentiert nicht für offenen Zugang zu allem. Es gibt gute Gründe, Trainings-Crawler fernzuhalten, und Sie sollten diese abwägen:

• Trainingsdaten haben echten Wert. Wenn Ihr Inhalt original und autoritativ ist, extrahieren Trainings-Crawler diesen Wert kostenlos. Das Stack Overflow-Abkommen setzt einen Präzedenzfall für Berechnung statt Verschenkung.
• Trainings-Crawler geben keine Zuschreibung und keinen Referral-Traffic. Im Gegensatz zu Such-Bot-Zitaten hinterlassen Trainingsdurchläufe keine Spur – Ihr Inhalt verbessert ein Modell ohne Anerkennung und ohne Link zurück.
• IP- und Wettbewerbsrisiko. Wenn Ihr Inhalt proprietär oder domänenspezifisch genug ist, um einen Burggraben zu bilden, möchten Sie ihn möglicherweise nicht in einem öffentlichen LLM haben, das jeder Konkurrent abfragen kann.

Das Argument hier ist eng: Blockieren Sie Trainings-Crawler absichtlich, wenn Sie sich dafür entscheiden, aber tun Sie dies namentlich, damit eine umfassende Regel nicht auch die Such-/Retrieval-Bots erfasst, die Zitate und Sichtbarkeit fördern.

Ein weiterer Vorbehalt: robots.txt-Durchsetzung ist freiwillig. Bytespider hat eine dokumentierte Geschichte, es zu ignorieren. Spoofer verwenden routinemäßig Chrome-User-Agents, um Erkennung zu vermeiden. Ein robots.txt-Eintrag signalisiert Ihre Präferenz und gibt Ihnen eine rechtliche Grundlage für Beschwerde; es verhindert technisch keinen Zugang. Echte Kontrolle erfordert serverseitige Regeln, WAF-Konfiguration und verifizierte Bot-Signale (Cloudflares Bot-Management kann legitime Crawler anhand von IP und TLS-Fingerabdruck verifizieren, bevor es ihnen Zugang gewährt oder sie berechnet). Behandeln Sie robots.txt als Ihre erste Schicht, unterstützen Sie sie dann mit den oben genannten serverseitigen Kontrollen.

Trainings-Bots nach Namen blockieren

Eine robots.txt, die Training von Suche unterscheidet, sieht so aus:

Der zweite Schritt besteht darin, zu überprüfen, ob Ihr CDN oder WAF diese Entscheidung bereits für Sie getroffen hat. Cloudflare begann ab dem 1. Juli 2025, KI-Crawler standardmäßig auf allen neuen Domains zu blockieren. Wenn Sie eine Domain nach diesem Datum eingerichtet oder migriert haben, werden KI-Crawler möglicherweise bereits auf der Netzwerkebene blockiert – einschließlich der Suchbots, die Sie möglicherweise zulassen möchten. Überprüfen Sie Ihre Cloudflare-Einstellungen unter Sicherheit → Bots, bevor Sie davon ausgehen, dass Ihre robots.txt die Arbeit leistet.

Der dritte Schritt besteht darin, Ihre aktuelle KI-Sichtbarkeit zu messen, damit Sie wissen, was Sie verlieren oder gewinnen können. Das ist das, was Baselines Brand-Scanner tut.

Überprüfen Sie Ihre KI-Sichtbarkeit