AI-assistent-fetchere

To operatører skriver undtagelsen ind i deres egen dokumentation. OpenAI siger, at fordi ChatGPT-User-handlinger initieres af en bruger, gælder robots.txt-regler muligvis ikke^[3]. Perplexity er mere direkte: da en bruger anmodede om fetchen, ignorerer Perplexity-User generelt robots.txt-regler^[4]. Begrundelsen er, at filen styrer systematisk indsamling, og en enkelt hentning på vegne af en person ligner, at personen åbner siden. Anthropic når den modsatte konklusion for den samme adfærd, idet Claude-User dokumenteres som den agent, der besøger et websted, når nogen stiller Claude et spørgsmål^[6], samtidig med at det anføres, at dets bots respekterer do-not-crawl-direktiver i robots.txt^[7]. Se robots.txt.

Argumentet blev en offentlig strid i august 2025, da Cloudflare rapporterede, at Perplexity ændrede sin brugeragent og roterede kilde-ASNs for at fortsætte med at hente domæner, der havde nægtet den adgang^[8]. Perplexity's svar hvilede på klasseskellet og argumenterede for, at en moderne AI-assistent, der besvarer ét spørgsmål, fungerer anderledes end traditionel web-crawling^[9]. Udgivere læser den samme fetch som ukompenseret adgang til indhold, hvilket er det, som standardblokeringen og licenseringstiltagene beskrevet under AI-crawlere reagerer på.

Klassen er lille, men den hurtigst voksende. Cloudflare registrerede ChatGPT-User-anmodninger op 2.825 % mellem maj 2024 og maj 2025, til en andel på 1,3 % af crawler-anmodninger^[10], og satte væksten af AI-brugerhandlings-crawling i 2025 til mere end 15 gange^[11]. Det forbliver en lille del af det samlede: et leverandør-crawlerpanel for januar til juli 2026 tilskriver 2,5 % af AI-bot-anmodninger til brugerudløst handling, mod 46,5 % til træning^[12]. Fordi hvert hit står for ét stillet spørgsmål, er denne klasse den trafik, et websted kan læse som efterspørgsel snarere end høst. Se AI-synlighedsmåling og AI-henvisningstrafik.