'Block all AI bots' koster dig nu aktivt synlighed

En Disallow linje, to meget forskellige bots

Da de fleste websteder tilføjede AI-botblokeringer, tænkte de på træningsdata - og det var rimeligt. Men crawlerne er siden blevet flere. OpenAI kører nu tre forskellige bots. Anthropic fulgte efter i begyndelsen af 2026. En generel Disallow: / for nogen af disse navne fanger både træningscrawleren og søge-/hentecrawleren - og kun én af disse skader dig at blokere.

OpenAIs dokumentation er utvetydig: "Websteder, der er fravalgt OAI-SearchBot, vises ikke i ChatGPT-søgesvar." Den samme logik gælder for Claude-SearchBot og Claude-User. Bloker dem, og du framelveder dig selv fra citater i realtids-AI-svar. Det strækker sig langt ud over den fremtidige modeltrænning, du havde til hensigt at stoppe.

Google-rækken fortjener sin egen bemærkning. Googles AI Overviews er bundlet med dets kernecrawler - blokering af Google-Extended framelveder dig fra Gemini-træning, men gør intet for at fjerne dig fra AI Overviews. Sondringen betyder noget.

GPTBot fører den blokerede liste - og vokser stadig

TechnologyChecker.io scannede 29,9 millioner aktive domæner i Q1 2026 og rangerede AI-crawlere efter andel af DISALLOW regler. Resultatet: GPTBot sidder øverst og overgår allerede den ældre CCBot. De fleste af disse blokkeringer blev skrevet før trænings-/søgningsopdelingen blev bredt forstået - hvilket betyder, at en stor andel af dem stilfærdigt udelukker disse websteder fra AI-søgningscitater.

En BuzzStream-analyse af 100 top amerikanske og britiske nyhedsudgivere (januar 2026) viste, at 79% blokerer mindst én træningsbot - men Google-Extended var den mindst blokerede træningscrawler med 46% samlet set, med amerikanske udgivere (58%) langt foran britiske udgivere (29%). Udgivere vil klart gerne blokere - de er bare uskarpe i, hvordan de gør det.

416 milliarder anmodninger blokeret på fem måneder

Da Cloudflare erklærede "Content Independence Day" den 1. juli 2025 og begyndte at blokere AI-crawlere som standard på nye domæner, gav det os det første storskalabillede af, hvor meget AI-crawling der foregår. Cloudflare-CEO Matthew Prince afslørede totalen på WIREDs Big Interview i december 2025: 416 milliarder AI-bot-anmodninger afværget på cirka fem måneder - omkring 2,8 milliarder pr. dag. Det er en fuldskala industriel ekstraktionsoperation der kører døgnet rundt.

Prince satte også Googles strukturelle fordel i klare tal (januar 2026, indgivet sammen med UK CMA-høringen): "Google udnytter deres søgemonopol til at se 3,2x så meget af nettet som OpenAI, 4,8x så meget som Microsoft, og mere end 6x så meget som næsten alle andre." Den asymmetri betyder, at blokering af Google-crawlere koster langt mere synlighed end blokering af nogen anden leverandørs tilsvarende.

Pay-per-crawl: en mellemvej er ved at dannes

I stedet for binært tillad/blokér begynder udgivere at opkræve gebyr for adgang. Cloudflares Pay Per Crawl marketplace (annonceret 2026) lader udgivere returnere et HTTP 402 Payment Required svar med en crawler-price header; Cloudflare fungerer som Merchant of Record. Over en milliard sådanne svar går allerede ud pr. dag på Cloudflares netværk.

Stack Overflow gjorde splittelsen konkret i februar 2026: en licensaftale med Cloudflare opkræver gebyr for kommerciel træningsadgang mens fællesskabets indhold forbliver frit læseligt. Træningsdata har værdi; søgehenvisning hjælper fællesskabet. At opkræve gebyr for det ene mens man tillader det andet er nu en live produktbeslutning - virksomheder sender det faktisk.

Ikke al blokering er forkert

Dette indlæg argumenterer ikke for åben adgang til alt. Der er solide grunde til at holde træningscrawlere ude, og du bør veje dem:

• Træningsdata har reel værdi. Hvis dit indhold er originalt og autoritativt, udtrækker træningscrawlere denne værdi gratis. Stack Overflow-aftalen sætter præcedens for at opkræve gebyr i stedet for at give det væk.
• Træningscrawlere giver ingen tilskrivning og ingen henvisningstrafik. I modsætning til søgebotcitater efterlader træningspas intet spor - dit indhold forbedrer en model uden anerkendelse og uden link tilbage.
• IP og konkurrencemæssig risiko. Hvis dit indhold er proprietært eller domænespecifikt nok til at udgøre en forsvarsmur, ønsker du måske ikke at få det bagt ind i en offentlig LLM, som enhver konkurrent kan forespørge.

Argumentet her er snævert: blokér træningscrawlere bevidst hvis du vælger det, men gør det efter navn, så en omfattende regel ikke også fanger søge-/henvisningsbots der driver citater og synlighed.

Et forbehold mere: robots.txt-håndhævelse er frivillig. Bytespider har en dokumenteret historie med at ignorere det. Spoofere bruger rutinemæssigt Chrome user-agents for at undgå opdagelse. En robots.txt-post signalerer din præference og giver dig et juridisk grundlag for klage; det forhindrer teknisk set ikke adgang. Reel kontrol kræver serverside-regler, WAF-konfiguration og verificerede-bot-signaler (Cloudflares botadministration kan verificere legitime crawlere efter IP og TLS-fingeraftryk før adgang eller opkrævning). Behandl robots.txt som dit første lag, og understøt det derefter med serverside-kontrollerne ovenfor.

Bloker træningsbots efter navn

En robots.txt, der skelner træning fra søgning, ser sådan ud:

Det andet trin er at kontrollere, om dit CDN eller WAF allerede har truffet denne beslutning for dig. Cloudflare begyndte at blokere AI-crawlere som standard på alle nye domæner fra 1. juli 2025. Hvis du oprettede eller migrerede et domæne efter denne dato, kan AI-crawlere allerede være blokeret på netværkslaget - herunder søgebots, som du måske gerne vil tillade. Kontroller dine Cloudflare Security → Bots-indstillinger, før du antager, at din robots.txt udfører arbejdet.

Det tredje trin er at måle din nuværende AI-synlighed, så du ved, hvad du kan miste eller vinde. Det er det, Baseline's brand scanner gør.

Audit din AI-synlighed