IndexNow og sitemaps
IndexNow er en push-protokol, der lader et websted fortælle deltagende søgemaskiner, hvilke URL'er der er ændret, og XML-sitemappet er den tilsvarende pull-mekanisme, en fil crawlere læser efter deres egen tidsplan. Syv endepunkter accepterer IndexNow-indsendelser: Bing, Yandex, Seznam, Naver, Yep, Internet Archive og Amazonbot[1]. Google er ikke en af dem, og dens dokumenterede ruter for anmodning om gen-crawl forbliver Search Console og et sitemap[2].
XML-sitemaps
En enkelt sitemap-fil er begrænset til 50.000 URL'er eller 50 MB ukomprimeret, og et større websted opdeles i et sitemap-indeks[3]. Google læser lastmod-elementet kun, når værdien er konsekvent og verificerbart nøjagtig, kontrolleret mod sidens reelle ændring[4]. priority- og changefreq-elementerne ignoreres fuldstændigt[5]. Google accepterer et sitemap via Search Console, Search Console API, en linje i robots.txt eller WebSub[6]. Microsoft siger, at Bing genbesøger et kendt sitemap mindst en gang om dagen[7] og bruger lastmod til at beslutte, hvilke URL'er der skal gen-crawles først[8].
IndexNow-protokollen
Microsoft Bing og Yandex udgav IndexNow den 18. oktober 2021[9]. Et websted hoster en nøglefil og sender derefter op til 10.000 URL'er pr. anmodning til ethvert deltagende endepunkt[10]. Søgemaskiner, der anvender protokollen, accepterer at videregive indsendte URL'er til hinanden, så en enkelt indsendelse når hele sættet[11]. Microsoft rapporterede i august 2022, at 7 % af nyklikede Bing-resultat-URL'er var kommet via IndexNow[12], og i marts 2024 var tallet 17 % mod 2,5 milliarder indsendte URL'er[13].
Googles holdning
En Google-talsmand sagde i november 2021, at virksomheden ville teste de potentielle fordele ved protokollen[14]. Der fulgte ingen adoption: Google er fraværende fra IndexNow-endepunktlisten[1], og dens gen-crawl-dokumentation tilbyder stadig URL Inspection-værktøjet til en håndfuld sider og et sitemap til resten, hvor crawling tager alt fra et par dage til et par uger[2].
Opdagelse og AI-crawlere
Ingen af mekanismerne er specifikke for AI. AI-crawlere henter de samme filer som søge-crawlere, og Cloudflare målte Googlebot til 50 % af crawler-anmodningerne i maj 2025, foran Bingbot på 8,7 %, GPTBot på 7,7 % og ClaudeBot på 5,4 %[15]. Vercel registrerede 569 millioner GPTBot-anmodninger og 370 millioner fra Claude på tværs af sit netværk på en måned, hvor ingen af crawlerne udførte den JavaScript, de hentede[16]. En IndexNow-indsendelse når Bing og de produkter, der er bygget på dets indeks, men ikke crawlere uden for protokollen, som finder sider via links og sitemaps[1]. Både Google og Bing læser sitemap lastmod-værdien, og begge betinger det af, at datoen er nøjagtig[4][8], hvilket forbinder opdagelse med indholdsfriskhed.
Data
Vis tallene (5)
| Punkt | % |
|---|---|
| Googlebot | 50 |
| Bingbot | 8.7 |
| GPTBot | 7.7 |
| ClaudeBot | 5.4 |
| GoogleOther | 4.3 |
Referencer (16)
- IndexNow deltagende søgemaskiner (searchengines.json) Arkiv
- Bed Google om at gen-crawle dine URL'er Arkiv
- Byg og indsend et sitemap Arkiv
- Byg og indsend et sitemap Arkiv
- Byg og indsend et sitemap Arkiv
- Byg og indsend et sitemap Arkiv
- Hold indhold opdageligt med sitemaps i AI-drevet søgning Arkiv
- Hold indhold opdageligt med sitemaps i AI-drevet søgning Arkiv
- IndexNow: Indekser øjeblikkeligt dit webindhold i søgemaskiner Arkiv
- IndexNow protokol dokumentation Arkiv
- IndexNow protokol dokumentation Arkiv
- IndexNow tilskrives 7 % af alle nye URL'er, der er klikket på i Bing i den seneste måned
- Bing Webmaster Tools IndexNow-indsigt og top SEO-indsigt Arkiv
- Google tester IndexNow-protokollen for bæredygtighed Arkiv
- Fra Googlebot til GPTBot: hvem crawler dit websted i 2025 Arkiv
- Fremkomsten af AI-crawleren Arkiv
Senest opdateret 2026-09-04. Skrevet og vedligeholdt af Baseline Labs.
