Sökkrypare

Google publicerar olika robots.txt-tokens för de två jobben. GoogleOther är den generiska kryparen som dess produktteam använder för att hämta offentligt tillgängligt innehåll^[6], medan Google-Extended är en fristående token som avgör om krypat innehåll får träna framtida Gemini-modeller^[5]. En webbplats kan stanna i indexet och utanför träningskorpusen. OpenAI dokumenterar samma uppdelning, kör OAI-SearchBot för sökning och en separat token för modellträning^[2]. Se träningsskrapor och robots.txt.

Google anger att dess vanliga krypare alltid respekterar robots.txt-regler för automatiska krypningar^[7], och protokollet förutsätter just det: en krypare läser filen och bestämmer vad den ska följa^[1]. Lydnaden bland den bredare populationen är ojämn, och den mättes inte under större delen av protokollets livstid: 2025 års rapport som först testade det i stor skala, på anonymiserade institutionella webbloggar, konstaterar att bevisen före den var anekdotiska^[8]. Den studien, av 130 självdeklarerade botar under 40 dagar, fann att efterlevnaden minskar när ett direktiv blir strängare, och att AI-sökkrypare ofta inte begär robots.txt alls^[9], så en Disallow-rad är en begäran snarare än en kontroll.

Indexmedlemskap är förutsättningen för citering. OpenAI anger att en webbplats som har valt bort OAI-SearchBot inte kommer att visas i ChatGPT-sökresultat, även om den fortfarande kan visas som en navigeringslänk^[2], Anthropic beskriver Claude-SearchBot som att den analyserar innehåll för att förbättra relevansen av sökresultat^[3], och Perplexity ber webbansvariga att tillåta PerplexityBot så att sidor kan visas och länkas^[4]. Att blockera söktokensen för en motor tar bort sidan från den pool dess svar hämtas från, vilket är ett annat beslut än att vägra träning. Se ChatGPT-sökning, svarsmotorer och AI-citeringskällor.

Sökkrypning är fortfarande den största andelen av automatiserad hämtning. Cloudflare registrerade att Googlebot ökade från 30 % till 50 % av kryparförfrågningarna mellan maj 2024 och maj 2025^[10], med GPTBot som gick från 2,2 % till 7,7 % med en ökning på 305 % i förfrågningar^[11]. Under 2025 stod Googlebot för 4,5 % av HTML-förfrågningarna på Cloudflare-nätverket mot 4,2 % för alla andra AI-botar tillsammans^[12]. Hämtning är en minoritet av deklarerade AI-botändamål: en leverantörskryparpanel för januari till juli 2026 angav sök- eller svarshämtning till 11,1 % av AI-botförfrågningarna mot 46,5 % för träning^[13]. Se Cloudflare och AI-krypare.