AI-assistent-henting

To operatører skriver unntaket inn i sin egen dokumentasjon. OpenAI sier at fordi ChatGPT-User-handlinger initieres av en bruker, gjelder kanskje ikke robots.txt-regler^[3]. Perplexity er mer direkte: siden en bruker ba om hentingen, ignorerer Perplexity-User generelt robots.txt-regler^[4]. Begrunnelsen er at filen styrer systematisk innsamling, og en enkelt henting på vegne av en person ligner på at den personen åpner siden. Anthropic kommer til motsatt konklusjon for samme oppførsel, og dokumenterer Claude-User som agenten som besøker et nettsted når noen stiller Claude et spørsmål^[6], samtidig som de uttaler at botene deres respekterer do-not-crawl-direktiver i robots.txt^[7]. Se robots.txt.

Argumentet ble en offentlig strid i august 2025, da Cloudflare rapporterte at Perplexity endret sin brukeragent og roterte kilde-ASNer for å fortsette å hente domener som hadde nektet den tilgang^[8]. Perplexitys svar hvilte på klasseskillet, og argumenterte for at en moderne AI-assistent som besvarer ett spørsmål, fungerer annerledes enn tradisjonell web-gjennomsøking^[9]. Utgivere leste den samme hentingen som ukompensert tilgang til innhold, noe som er det blokk-som-standard- og lisensieringsbevegelsene beskrevet under AI-gjennomsøkere svarer på.

Klassen er liten, men den raskest voksende. Cloudflare registrerte ChatGPT-User-forespørsler opp 2 825 % mellom mai 2024 og mai 2025, til en andel på 1,3 % av gjennomsøkerforespørslene^[10], og satte veksten av AI-brukerhandlingsgjennomsøking i 2025 til mer enn 15 ganger^[11]. Det forblir en tynn skive av totalen: et leverandørgjennomsøkerpanel for januar til juli 2026 tilskriver 2,5 % av AI-botforespørslene til brukerutløst handling, mot 46,5 % for trening^[12]. Fordi hvert treff står for ett spørsmål stilt, er denne klassen trafikken et nettsted kan lese som etterspørsel snarere enn høsting. Se AI-synlighetsmåling og AI-henvisningstrafikk.