AI-assistent-hämtare

Två operatörer skriver in undantaget i sin egen dokumentation. OpenAI säger att eftersom ChatGPT-User-åtgärder initieras av en användare, kanske robots.txt-regler inte gäller^[3]. Perplexity är mer rakt på sak: eftersom en användare begärde hämtningen, ignorerar Perplexity-User i allmänhet robots.txt-regler^[4]. Resonemanget är att filen styr systematisk insamling, och en enskild hämtning på en persons vägnar liknar den personen som öppnar sidan. Anthropic drar motsatt slutsats för samma beteende, och dokumenterar Claude-User som agenten som besöker en webbplats när någon ställer en fråga till Claude^[6] samtidigt som den anger att dess bots respekterar do-not-crawl-direktiv i robots.txt^[7]. Se robots.txt.

Argumentet blev en offentlig strid i augusti 2025, när Cloudflare rapporterade att Perplexity modifierade sin användaragent och roterade käll-ASNs för att fortsätta hämta domäner som hade förbjudit den^[8]. Perplexitys svar vilade på klasskillnaden, och hävdade att en modern AI-assistent som besvarar en fråga fungerar annorlunda än traditionell webbsökning^[9]. Publicister läser samma hämtning som obetald tillgång till innehåll, vilket är vad block-by-default och licensieringsåtgärderna som beskrivs under AI-crawlers svarar på.

Klassen är liten men den snabbast växande. Cloudflare registrerade ChatGPT-User-förfrågningar upp 2 825 % mellan maj 2024 och maj 2025, till en andel på 1,3 % av crawler-förfrågningarna^[10], och satte tillväxten av AI-användaråtgärdscrawling under 2025 till mer än 15 gånger^[11]. Det förblir en tunn skiva av det totala: en leverantörs crawler-panel för januari till juli 2026 tillskriver 2,5 % av AI-botförfrågningarna till användarutlösta åtgärder, mot 46,5 % för träning^[12]. Eftersom varje träff står för en ställd fråga, är denna klass den trafik en webbplats kan läsa som efterfrågan snarare än insamling. Se AI-synlighetsmätning och AI-referenstrafik.