Søkeroboter

Google publiserer forskjellige robots.txt-tokens for de to jobbene. GoogleOther er den generiske søkeroboten produktteamene bruker for å hente offentlig tilgjengelig innhold^[6], mens Google-Extended er et frittstående token som avgjør om skrapet innhold kan trene fremtidige Gemini-modeller^[5]. Et nettsted kan forbli i indeksen og utenfor treningskorpuset. OpenAI dokumenterer den samme splitten, og kjører OAI-SearchBot for søk og et separat token for modelltrening^[2]. Se treningsskrapere og robots.txt.

Google opplyser at deres vanlige søkeroboter alltid respekterer robots.txt-regler for automatiske søk^[7], og protokollen forutsetter nettopp det: en søkerobot leser filen og bestemmer hva den skal følge^[1]. Lydighet i den bredere populasjonen er ujevn, og det ble ikke målt mesteparten av protokollens levetid: 2025-papiret som først testet det i stor skala, på anonymiserte institusjonelle weblogger, registrerer at bevisene før det var anekdotiske^[8]. Denne studien, av 130 selvdeklarerte roboter over 40 dager, fant at overholdelse faller når et direktiv blir strengere, og at AI-søkeroboter ofte ikke ber om robots.txt i det hele tatt^[9], så en Disallow-linje er en forespørsel snarere enn en kontroll.

Indeksmedlemskap er forutsetningen for sitering. OpenAI opplyser at et nettsted som er valgt bort fra OAI-SearchBot ikke vil vises i ChatGPT-søkesvar, selv om det fortsatt kan vises som en navigasjonslenke^[2], Anthropic beskriver Claude-SearchBot som analyserende innhold for å forbedre relevansen av søkeresultater^[3], og Perplexity ber webmastere om å tillate PerplexityBot slik at sider kan vises og lenkes^[4]. Å blokkere søketokenet til en motor fjerner siden fra bassenget svarene trekkes fra, noe som er en annen beslutning enn å nekte trening. Se ChatGPT-søk, svarmotorer og AI-sitasjonskilder.

Søkeroboter utgjør fortsatt den største andelen av automatisert henting. Cloudflare registrerte at Googlebot økte fra 30 % til 50 % av søkerobotanropene mellom mai 2024 og mai 2025^[10], med GPTBot som gikk fra 2,2 % til 7,7 % på en 305 % økning i anrop^[11]. I løpet av 2025 stammet Googlebot 4,5 % av HTML-anropene på Cloudflare-nettverket mot 4,2 % for alle andre AI-roboter kombinert^[12]. Henting er et mindretall av erklært AI-robotformål: et leverandørpanel for søkeroboter for januar til juli 2026 satte søk eller svarhenting til 11,1 % av AI-robotanropene mot 46,5 % for trening^[13]. Se Cloudflare og AI-søkeroboter.