'Blokker alle AI-roboter' koster deg nå aktivt synlighet

Én Disallow linje, to svært forskjellige roboter

Da de fleste nettsteder la til AI-robotblokkeringer, tenkte de på treningsdata – og det var rimelig. Men søkerobotene har siden mangedoblet seg. OpenAI kjører nå tre forskjellige roboter. Anthropic fulgte etter tidlig i 2026. En generell blokkering Disallow: / for noen av disse navnene fanger både treningssøkeroboten og søke-/hentingssøkeroboten – og bare én av disse skader deg å blokkere.

OpenAIs dokumentasjon er utvetydig: "Nettsteder som har valgt bort OAI-SearchBot vil ikke bli vist i ChatGPT-søkesvar." Den samme logikken gjelder for Claude-SearchBot og Claude-User. Blokkér dem, og du velger deg bort fra sitering i sanntids AI-svar. Det strekker seg langt utover den fremtidige modelltreningen du ønsket å stoppe.

Google-raden fortjener en egen merknad. Googles AI Overviews er pakket sammen med deres kjerne-søkerobot – blokkering Google-Extended melder deg av Gemini-trening, men gjør ingenting for å fjerne deg fra AI Overviews. Forskjellen er viktig.

GPTBot topper den blokkerte listen – og fortsetter å vokse

TechnologyChecker.io skannet 29,9 millioner aktive domener i første kvartal 2026 og rangerte AI-crawlere etter andel av DISALLOW regler. Resultatet: GPTBot ligger på topp, og har allerede passert den eldre CCBot. De fleste av disse blokkeringene ble skrevet før skillet mellom trening/søk ble allment forstått – noe som betyr at en stor andel av dem i stillhet velger bort disse nettstedene fra AI-søkesitering.

En BuzzStream-analyse av 100 topp amerikanske og britiske nyhetsutgivere (januar 2026) fant at 79 % blokkerer minst én treningsbot – likevel var Google-Extended den minst blokkerte treningscrawleren med 46 % totalt, med amerikanske utgivere (58 %) langt foran britiske utgivere (29 %). Utgivere ønsker tydeligvis å blokkere – de er bare lite presise i hvordan de gjør det.

416 milliarder forespørsler blokkert på fem måneder

Da Cloudflare erklærte "Content Independence Day" 1. juli 2025 og begynte å blokkere AI-gjennomsøkere som standard på nye domener, ga det oss det første storskala bildet av hvor mye AI-gjennomsøking som foregår – innen juni 2026 hadde roboter passert mennesker som majoriteten av HTML-trafikk. Cloudflare-sjef Matthew Prince avslørte totalen på WIREDs Big Interview i desember 2025: 416 milliarder AI-robotforespørsler avverget på omtrent fem måneder – rundt 2,8 milliarder per dag. Det er en fullskala industriell utvinningsoperasjon som kjører døgnet rundt.

Prince presenterte også Googles strukturelle fordel i klare tall (januar 2026, arkivert sammen med UK CMA-konsultasjonen): "Google utnytter sitt søkemonopol til å se 3,2 ganger så mye av nettet som OpenAI, 4,8 ganger så mye som Microsoft, og mer enn 6 ganger så mye som nesten alle andre." Denne asymmetrien betyr at blokkering av Google-gjennomsøkere koster langt mer synlighet enn blokkering av tilsvarende fra andre leverandører.

Betal-per-gjennomsøk: en mellomvei dannes

I stedet for binær tillat/blokker, begynner utgivere å ta betalt for tilgang. Cloudflares Pay Per Crawl-markedsplass (kunngjort 2026) lar utgivere returnere en HTTP 402 Payment Required respons med en crawler-pris-header; Cloudflare fungerer som Merchant of Record. Over en milliard slike responser sendes allerede ut per dag på Cloudflares nettverk.

Stack Overflow gjorde skillet konkret i februar 2026: en lisensavtale med Cloudflare tar betalt for kommersiell treningstilgang samtidig som fellesskapets innhold holdes fritt lesbart. Treningsdata har verdi; søkegjenfinning hjelper fellesskapet. Å ta betalt for det ene mens man tillater det andre er nå en levende produktbeslutning – selskaper leverer det faktisk.

Ikke all blokkering er feil

Dette innlegget argumenterer ikke for åpen tilgang til alt. Det er gode grunner til å holde treningscrawlere ute, og du bør vurdere dem:

• Treningsdata har reell verdi. Hvis innholdet ditt er originalt og autoritativt, trekker treningscrawlere ut denne verdien gratis. Stack Overflow-avtalen setter en presedens for å kreve betaling i stedet for å gi bort.
• Treningscrawlere gir ingen attribusjon og ingen henvisningstrafikk. I motsetning til søkerobot-siteringer, etterlater treningspass ingen spor – innholdet ditt forbedrer en modell uten anerkjennelse og ingen lenke tilbake.
• IP- og konkurranserisiko. Hvis innholdet ditt er proprietært eller domenespesifikt nok til å utgjøre en fordel, vil du kanskje ikke at det skal bakes inn i en offentlig LLM som enhver konkurrent kan spørre.

Argumentet her er snevert: blokker treningscrawlere bevisst hvis du velger det, men gjør det ved navn, slik at en omfattende regel ikke også fanger opp søke-/hentingsrobotene som driver siteringer og synlighet.

Enda et forbehold: robots.txt-håndhevelse er frivillig. Bytespider har en dokumentert historie med å ignorere det. Spoofere bruker rutinemessig Chrome-brukeragenter for å unngå oppdagelse. En robots.txt-oppføring signaliserer din preferanse og gir deg et juridisk grunnlag for klage; det forhindrer ikke teknisk tilgang. Reell kontroll krever server-side regler, WAF-konfigurasjon og verifiserte bot-signaler (Cloudflares bot-administrasjon kan verifisere legitime crawlere etter IP og TLS-fingeravtrykk før de tillater eller belaster dem). Behandle robots.txt som ditt første lag, og støtt det deretter med de server-side kontrollene ovenfor.

Blokker treningsrobotene etter navn

En robots.txt som skiller trening fra søk ser slik ut:

Det andre trinnet er å sjekke om din CDN eller WAF allerede har tatt denne avgjørelsen for deg. Cloudflare begynte å blokkere AI-crawlere som standard på alle nye domener fra 1. juli 2025. Hvis du satte opp eller migrerte et domene etter den datoen, kan AI-crawlere allerede være blokkert på nettverkslaget – inkludert søkerobotene du kanskje vil tillate. Sjekk dine Cloudflare Sikkerhet → Bot-innstillinger før du antar at robots.txt gjør jobben.

Det tredje trinnet er å måle din nåværende AI-synlighet slik at du vet hva du har å tape eller vinne. Det er det Baselines merkevareskanner gjør.

Revider din AI-synlighet