'Bloker alle AI-bots' koster dig nu aktivt synlighed

Én Disallow linje, to meget forskellige bots

Da de fleste sider tilføjede AI-botblokeringer, tænkte de på træningsdata – og det var rimeligt. Men crawlerne er siden mangedoblet. OpenAI kører nu tre forskellige bots. Anthropic fulgte trop i begyndelsen af 2026. En generel Disallow: / for et hvilket som helst af disse navne fanger både trænings-crawleren og søge-/genfindings-crawleren – og kun én af disse skader dig ved at blokere.

OpenAIs dokumentation er utvetydig: "Sider, der har fravalgt OAI-SearchBot, vil ikke blive vist i ChatGPT-søgeresultater." Den samme logik gælder for Claude-SearchBot og Claude-User. Bloker dem, og du fravælger dig selv citering i realtids AI-svar. Det rækker langt ud over den fremtidige modeltræning, du havde til hensigt at stoppe.

Google-rækken fortjener en note for sig selv. Googles AI Overviews er bundtet med dens kerne søgecrawler - blokering Google-Extended fravælger dig Gemini-træning, men gør intet for at fjerne dig fra AI Overviews. Forskellen er vigtig.

GPTBot fører den blokerede liste – og bliver ved med at vokse

TechnologyChecker.io scannede 29,9 millioner aktive domæner i Q1 2026 og rangerede AI-crawlere efter andel af DISALLOW regler. Resultatet: GPTBot ligger i toppen og overgår allerede den ældre CCBot. De fleste af disse blokeringer blev skrevet, før opdelingen mellem træning og søgning var bredt forstået – hvilket betyder, at en stor del af dem stille og roligt fravælger disse sider fra AI-søgecitering.

En BuzzStream-analyse af 100 top amerikanske og britiske nyhedsudgivere (januar 2026) fandt, at 79 % blokerer mindst én træningsbot – men Google-Extended var den mindst blokerede træningscrawler med 46 % samlet set, hvor amerikanske udgivere (58 %) var langt foran britiske udgivere (29 %). Udgivere ønsker tydeligvis at blokere – de er blot stumme om, hvordan de gør det.

416 milliarder anmodninger blokeret på fem måneder

Da Cloudflare erklærede "Content Independence Day" den 1. juli 2025 og begyndte at blokere AI-crawlere som standard på nye domæner, gav det os det første store billede af, hvor meget AI-crawling der foregår – i juni 2026 havde bots overhalet mennesker som flertallet af HTML-trafik. Cloudflare CEO Matthew Prince afslørede det samlede tal ved WIRED's Big Interview i december 2025: 416 milliarder AI-bot-anmodninger afværget på cirka fem måneder – omkring 2,8 milliarder om dagen. Det er en fuldskala industriel udvindingsoperation, der kører døgnet rundt.

Prince fremlagde også Googles strukturelle fordel i klare tal (januar 2026, indsendt sammen med den britiske CMA-høring): "Google udnytter deres søgemonopol til at se 3,2 gange så meget af internettet som OpenAI, 4,8 gange så meget som Microsoft og mere end 6 gange så meget som næsten alle andre." Denne asymmetri betyder, at blokering af Google-crawlere koster langt mere synlighed end blokering af en tilsvarende fra enhver anden leverandør.

Betal-per-crawl: en mellemvej er ved at dannes

I stedet for binær tillad/bloker, begynder udgivere at opkræve betaling for adgang. Cloudflares Pay Per Crawl-markedsplads (annonceret 2026) lader udgivere returnere en HTTP 402 Payment Required respons med en crawler-pris-header; Cloudflare fungerer som Merchant of Record. Over en milliard sådanne respons sendes allerede ud dagligt på Cloudflares netværk.

Stack Overflow gjorde opdelingen konkret i februar 2026: en licensaftale med Cloudflare opkræver betaling for kommerciel træningsadgang, mens fællesskabets indhold forbliver frit læsbart. Træningsdata har værdi; søgning hjælper fællesskabet. At opkræve betaling for det ene, mens det andet tillades, er nu en levende produktbeslutning - virksomheder sender det faktisk ud.

Ikke al blokering er forkert

Dette indlæg argumenterer ikke for åben adgang til alt. Der er gode grunde til at holde trænings-crawlere ude, og du bør overveje dem:

• Træningsdata har reel værdi. Hvis dit indhold er originalt og autoritativt, udtrækker trænings-crawlere den værdi gratis. Stack Overflow-aftalen skaber præcedens for at opkræve betaling frem for at give det væk.
• Trænings-crawlere giver ingen attribution og ingen henvisningstrafik. I modsætning til søgebot-citater efterlader trænings-passes ingen spor – dit indhold forbedrer en model uden anerkendelse og uden et link tilbage.
• IP- og konkurrencerisiko. Hvis dit indhold er proprietært eller domænespecifikt nok til at udgøre en fordel, ønsker du måske ikke, at det bliver indbygget i en offentlig LLM, som enhver konkurrent kan forespørge.

Argumentet her er snævert: bloker trænings-crawlere bevidst, hvis du vælger det, men gør det ved navn, så en omfattende regel ikke også fanger søge-/hentningsbotterne, der driver citater og synlighed.

Endnu et forbehold: robots.txt-håndhævelse er frivillig. Bytespider har en dokumenteret historie med at ignorere det. Spoofere bruger rutinemæssigt Chrome-brugeragenter for at undgå detektion. En robots.txt-indgang signalerer din præference og giver dig et juridisk grundlag for klage; det forhindrer teknisk set ikke adgang. Reel kontrol kræver server-side-regler, WAF-konfiguration og verificerede bot-signaler (Cloudflares bot-styring kan verificere legitime crawlere via IP og TLS-fingeraftryk, før de tillades eller opkræves). Betragt robots.txt som dit første lag, og bak det derefter op med de ovennævnte server-side-kontroller.

Bloker træningsrobotterne ved navn

En robots.txt, der skelner mellem træning og søgning, ser sådan ud:

Det andet skridt er at kontrollere, om din CDN eller WAF allerede har truffet denne beslutning for dig. Cloudflare begyndte at blokere AI-crawlere som standard på alle nye domæner fra 1. juli 2025. Hvis du oprettede eller migrerede et domæne efter denne dato, kan AI-crawlere allerede være blokeret på netværkslaget – inklusive de søgerobotter, du måske ønsker at tillade. Tjek dine Cloudflare Sikkerhed → Bots-indstillinger, før du antager, at din robots.txt gør arbejdet.

Det tredje skridt er at måle din nuværende AI-synlighed, så du ved, hvad du har at tabe eller vinde. Det er det, Baselines brandscanner gør.

Auditér din AI-synlighed