Robots.txt

Inget register över användaragent-tokens existerar, så varje operatör namnger och dokumenterar sina egna. OpenAI driver GPTBot för träningsdata och säger att en Disallow för den signalerar att en webbplats innehåll inte ska användas för att träna grundmodeller^[3]. Separata tokens täcker sökning och annonsering, medan ChatGPT-User hämtar en sida för att en person bad om det, ett fall där OpenAI varnar för att robots.txt-regler kanske inte gäller^[4]. Anthropic delar upp ClaudeBot, Claude-User och Claude-SearchBot längs samma linjer och anger att dess bots respekterar Disallow och Crawl-delay^[5]. Perplexity dokumenterar PerplexityBot som en sökindex-crawler och säger att dess Perplexity-User-token generellt ignorerar robots.txt^[6]. Detaljer per bot finns i bot-encyklopedin.

Google lade till Google-Extended den 28 september 2023 som en kontroll över huruvida en webbplats innehåll hjälper till att förbättra Bard och Vertex AI generativa API:er^[7]. Den styr nu träning av Gemini-modellerna och grundning i Gemini Apps och Vertex AI, och Google anger att blockering av den inte påverkar en webbplats inkludering i Google Sök och inte används som en rankningssignal där^[8]. De två kontrollerna är separata spakar på samma crawl: Googlebot bestämmer om en sida indexeras, Google-Extended bestämmer om den crawlade texten matar Gemini-träning och grundning. Att blockera den lämnar därför Sök-närvaro, AI-översikter inkluderade, orörd.

Inget i protokollet tvingar fram något. En crawler kan ignorera reglerna, förfalska sin identitet eller på annat sätt undvika upptäckt^[9], och Cloudflare rapporterar att AI-crawlers gör mer än 50 miljarder förfrågningar per dag till deras nätverk, strax under 1% av alla förfrågningar de ser, varav vissa ignorerar no-crawl-direktiv^[10]. Den första storskaliga mätningen av efterlevnad, över 130 självdeklarerade bots och 40 dagars institutionella webbloggar, fann att bots är mindre benägna att följa strängare direktiv, och att AI-sök-crawlers sällan begär filen alls^[11]. Publicister har snabbt skärpt filen. Granskningen "Consent in Crisis" av 14 000 domäner fann att inom ett år kom robots.txt att fullständigt begränsa mer än 5% av alla tokens i C4-korpusen och mer än 28% av dess mest aktivt underhållna källor, med 45% av C4 begränsat av användarvillkor^[12]. Se träningsdata kontra hämtning för varför de två typerna av block har olika konsekvenser.

Två ansträngningar utökar filen från vem som får crawla till vad crawlen är till för. Cloudflares Content Signals Policy, som tillkännagavs den 24 september 2025, lägger till ett content-signal-direktiv med ja- eller nej-värden för tre användningsområden: sökning, generativa svar och modellträning^[13]. Dess hanterade robots.txt tillämpade redan policyn på mer än 3,8 miljoner domäner vid lanseringen^[14]. IETF AI Preferences arbetsgrupp standardiserar samma idé som ett ordförråd plus en uppsättning bifogningsmetoder, robots.txt bland dem^[15]. Båda ärver svagheten hos originalet: en preferens i en fil är bara värd vad läsaren väljer att ge den. Jämför llms.txt, som ber om uppmärksamhet snarare än att undanhålla den, och innehållslicensavtal, som ersätter begäran med ett kontrakt.