De fleste hjemmesideejere venter på, at crawlere finder deres indhold. De udgiver en side mandag og håber, at en bot finder den inden onsdag. Med AI-crawlere betyder den ventetid mere end nogensinde. Perplexity crawler nettet flere gange om dagen. Friskhed er ikke et lille rangeringssignal. Det er forskellen på, om dit indhold bliver citeret, eller om din konkurrents indhold gør.
XML-sitemaps og IndexNow er de to værktøjer, der vender den model om. I stedet for at vente passivt fortæller du crawlere præcis, hvor dit indhold er, og hvornår det har ændret sig. Sitemaps ordner dine sider, så crawlere finder dem hurtigere. IndexNow sender aktivt besked til søgemaskiner i det øjeblik, noget bliver udgivet. Sammen skærer de tiden til opdagelse ned fra dage til timer. På AI-platforme, hvor friskhed kan afgøre synligheden, er den fordel i fart reel.
Hvad et XML-sitemap gør for AI-crawlere
Et XML-sitemap er en struktureret fil, der lister alle vigtige sider på din hjemmeside. Det fortæller crawlere adressen på hver side, hvornår den sidst blev opdateret, hvor vigtig den er i forhold til andre sider, og hvor ofte den ændrer sig.
For traditionelle søgemaskiner er sitemaps rart at have. For AI-crawlere er de tættere på at være nødvendige. Analyse af serverlogs på tværs af 85 domæner viser, at GPTBot (OpenAIs crawler) bruger sitemaps i den første fase med at finde sider i 76 % af tilfældene. Sammenlign det med Googlebot, der kun bruger sitemaps i 54 % af tilfældene. AI-systemer er mere afhængige af sitemaps, fordi de hurtigt vil forstå opbygningen af din hjemmeside og prioriteringen af indholdet.
Årsagen er vigtig. Perplexity crawler hele tiden. Den har brug for at finde nyt indhold hurtigt. ChatGPT indekserer selektivt. Den prioriterer de sider, der betyder mest for dig. Er dit sitemap rodet eller ufuldstændigt, skjuler du reelt indhold for de crawlere, der afgør, om dit brand bliver citeret i svarene.
Hvordan AI-crawlere bruger dit sitemap anderledes
Et sitemap fortæller crawlere tre ting. Det fortæller, hvor dit indhold er. Det fortæller, hvilke sider der betyder mest. Og det fortæller, hvornår noget har ændret sig.
For AI-systemer er den tredje ting afgørende. Når du opdaterer en side, signalerer lastmod-tagget (sidst ændret) i dit sitemap, at indholdet er ændret. GPTBot tjekker det tag. Perplexity tjekker det tag. Når en AI-crawler ser en frisk opdatering i dit sitemap, prioriterer den at crawle siden igen. Siger dit sitemap, at en side ikke er ændret i seks måneder, nedprioriterer crawleren den. Fordi AI-platforme favoriserer det nyeste, er det den vigtigste metadata, du selv styrer.
Den anden ting betyder også noget. Dit sitemap har et priority-tag, der fortæller crawlere, hvilke sider der er vigtigst for dig. Siderne får en prioritetsscore fra 0 til 1. Din forside er måske 1,0. Din blog er måske 0,8. Gammelt arkiveret indhold er måske 0,3. AI-crawlere ser ikke prioritet som et rangeringssignal, men de ser den som et signal om effektivitet. Fortæller du en AI-crawler, at 60 % af din hjemmeside har lav prioritet, ved den, hvor den skal bruge sit crawl-budget.
Den optimering af sitemaps, som AI-crawlere reagerer på
De fleste virksomheder laver ét sitemap og glemmer det. Crawlerne finder det. Indholdet bliver indekseret. Sagen er afsluttet.
AI-crawlere belønner præcision. Sitemaps, der er delt op, klarer sig 67 % bedre. I stedet for at smide alle sider ind i ét stort sitemap laver du særskilte sitemaps til forskellige typer indhold. Ét til blogindlæg. Ét til produktsider. Ét til guides. Ét til dine hovedsider.
Hvorfor betyder det noget? Når en AI-crawler besøger din hjemmeside, har den begrænset tid og crawl-budget. Fortæller du den, at dit sitemap indeholder 10.000 blandede sider, og den kun har tid til at crawle 1.000 af dem, må den gætte, hvilke 1.000 der betyder noget. Hvis du i stedet deler dine sitemaps op og fortæller den, at dit blogsitemap har 400 sider, og dit produktsitemap har 50 sider, ved crawleren præcis, hvordan den skal fordele sit budget. Produktsider bliver crawlet dybere. Nye blogindlæg bliver crawlet flere gange.
Forbedringen viser sig i, hvor hurtigt siderne bliver fundet. Sitemaps, der er delt op, giver 34 % hurtigere opdagelse af hele hjemmesiden hos AI-crawlere. Hjemmesider med ét stort sitemap venter 30 dage på fuld dækning af crawlingen. Hjemmesider med sitemaps, der er delt op, ser fuld dækning efter 20 dage.
Det er enkelt at dele op. Du laver separate sitemap-filer til forskellige dele af din hjemmeside og lister dem alle i en sitemap-indeksfil. De fleste CMS-systemer, også WEMASY, laver sitemaps automatisk. De fleste platforme lader dig også dele dem op efter type eller sektion.
Sådan får du lastmod-tagget rigtigt
Lastmod-tagget er dit signal om friskhed til AI-crawlere. Når du udgiver nyt indhold, starter det med dagens dato. Når du opdaterer en gammel artikel, opdaterer du lastmod-datoen. Crawleren ser det og ved, at noget har ændret sig.
Mange hjemmesider gør det forkert. De udgiver en side i januar, og lastmod-datoen bliver stående på januar for evigt. De opdaterer siden i maj, men glemmer at opdatere sitemappet. Crawleren ser ingen ændring og nedprioriterer at crawle siden igen.
For AI-platforme er det en kritisk fejl. Perplexity bruger netop friskhed af indhold til at afgøre, om den citerer dig. En side med et forældet lastmod-tag ser gammel ud. En side med et aktuelt lastmod-tag ser frisk ud. Vedligeholder du dit indhold og opdaterer det jævnligt, så sørg for, at dit sitemap afspejler det.
Den bedste tilgang er at automatisere det. Plugins til CMS, apps til webshops og de fleste moderne indholdsplatforme opdaterer automatisk lastmod-datoen, hver gang du ændrer noget på en side. Sæt det op én gang og glem det. Crawlerne ser hele tiden friske signaler.
Hvad IndexNow kan, som sitemaps ikke kan
Et sitemap er passivt. Du laver det. Du udgiver det. Så venter du på, at crawlere finder det. Crawlere besøger dit sitemap efter deres egen tidsplan, ikke din. Hvis en bot kommer en gang om ugen, venter dit nye indhold en uge på at blive fundet.
IndexNow vender det om. I stedet for at vente på crawlere giver du dem aktivt besked. I det øjeblik du udgiver en side, sender IndexNow et signal til søgemaskiner om, at "hey, jeg har lige udgivet det her". Flere store søgemaskiner uden for Google understøtter IndexNow. Du sender til ét API-endpoint, og alle de understøttede søgemaskiner får beskeden.
IndexNow er gratis og open source. Det blev udviklet af flere søgefirmaer netop for at løse problemet med langsom opdagelse. Før IndexNow måtte SEO-folk stole på backlinks eller organisk crawling for at få nyt indhold bemærket. Med IndexNow styrer du selv meddelelsen.
Effekten er øjeblikkelig. Uden IndexNow ligger en ny side på din server og venter. Med IndexNow bliver siden crawlet inden for timer, nogle gange inden for minutter. Du går fra et vindue til opdagelse på dage til et vindue på timer.
Hvordan IndexNow virker sammen med dit sitemap
IndexNow og sitemaps er ikke konkurrenter. De virker sammen. Dit sitemap fortæller crawlere om opbygningen og prioriteten af dit indhold. IndexNow fortæller crawlere, at noget har ændret sig lige nu.
Sådan løber det. Du udgiver en ny side. IndexNow sender automatisk en besked til søgemaskiner med den nye adresse. Crawleren modtager beskeden og kommer forbi med det samme. Når den er der, læser den dit sitemap for at forstå sammenhængen. Er det en side med høj eller lav prioritet? Er den opdateret siden sidste crawling? Er den en del af en klynge af indhold?
Sitemappet giver crawleren sammenhæng. IndexNow giver den fart. Uden sitemaps ved crawleren, at en side findes, men ikke hvordan den skal prioritere den, eller om den skal crawle beslægtede sider. Med begge værktøjer sammen bliver opdagelsen hurtig og klog.
Sådan sætter du IndexNow op
IndexNow kræver tre ting. En API-nøgle, der beviser, at du ejer domænet. En verifikationsfil på dit domæne, der beviser ejerskab. Og en måde at sende adresser til IndexNows API.
Har dit CMS et officielt plugin til IndexNow, klarer det alt automatisk. Slå det til, så laver det din nøgle, opretter verifikationsfilen og sender adresser, hver gang du udgiver eller opdaterer indhold. Ingen opsætning ud over at klikke på installér.
Bruger du en moderne platform, har de fleste hostingplatforme en integration med IndexNow. Tjek dine indstillinger for udgivelse. Er den der, så slå den til.
Styrer du din egen server eller bruger en platform uden indbygget integration, kan du sende adresser manuelt via IndexNows hjemmeside eller med direkte API-kald. Dokumentationen til IndexNow gennemgår begge fremgangsmåder.
Hvilke crawlere der understøtter IndexNow, og hvorfor det betyder noget
IndexNow understøttes af flere store søgeplatforme uden for Google.
Her er overraskelsen. ChatGPT crawler sammen med de platforme. Når en af dem crawler, følger GPTBot ofte med. Når en anden crawler, kan beskeden fremskynde indekseringen hos Perplexity og andre AI-systemer, der bygger på lignende infrastruktur til crawling.
Google understøtter ikke officielt IndexNow. Det er en forskel, der er værd at forstå. Google har sit eget system til at finde sider. Google Search Console spiller en lignende rolle som IndexNow, men kun for Google. Men for resten af AI-økosystemet er IndexNow måden, du melder nyt indhold.
Mange teams kører indsendelser i Google Search Console og indsendelser via IndexNow side om side. Google får besked gennem Search Console. Det bredere AI-økosystem får besked gennem IndexNow. Den dobbelte tilgang forkorter tiden til opdagelse på alle platforme.
Fordelen ved opdagelse, når værktøjerne virker sammen
Uden nogen af værktøjerne sker det her. Du udgiver en side mandag. En crawler besøger din hjemmeside en gang den uge og finder den. Fredag har crawleren behandlet den. Mandagen efter dukker den måske op i nogle resultater. Fuld opdagelse på tværs af flere AI-platforme tager uger.
Med kun et sitemap går opdagelsen hurtigere. Crawleren skal stadig finde dit sitemap. Men når den gør, ved den, hvor den skal lede efter dit nyeste indhold. Er dit sitemap optimeret, skærer du tiden til opdagelse ned fra uger til 5 til 7 dage.
Med kun IndexNow bliver en side meldt med det samme. Men uden sammenhængen fra et sitemap ved crawleren ikke, om siden hører sammen med andet beslægtet indhold. Den crawler selve adressen, men går måske glip af emneklyngen. Opdagelsen er hurtig, men ufuldstændig.
Med begge værktøjer sammen får du hurtig og klog opdagelse. IndexNow melder siden med det samme. Crawleren crawler den inden for timer. Dit sitemap fortæller, at den er en del af en serie på tre artikler om samme emne. Crawleren prioriterer serien. Alle tre artikler bliver fundet og indekseret inden for 24 timer. Perplexity bemærker den friske klynge. Når nogen stiller et spørgsmål inden for emnet, er dit indhold klar til at blive citeret. Du gik fra uger til timer.
Ofte stillede spørgsmål
Har jeg brug for både et sitemap og IndexNow, eller er ét nok?
Du har brug for begge. Sitemaps fortæller crawlere om opbygningen og prioriteten af dit indhold. IndexNow fortæller dem, at noget har ændret sig lige nu. Et sitemap uden IndexNow giver langsom opdagelse. IndexNow uden et sitemap giver hurtig opdagelse af enkelte sider, men ingen sammenhæng med beslægtet indhold. Begge værktøjer sammen giver dig fart og klogskab. Med WEMASYs hjemmesidebygger kan du sætte det op direkte på din hjemmeside.
Virker IndexNow for AI-crawlere som GPTBot og Perplexity?
IndexNow understøttes officielt af flere søgemaskiner uden for Google. ChatGPT crawler sammen med nogle af dem, så beskeder via IndexNow udløser ofte crawling fra GPTBot. Perplexity crawler nettet direkte og reagerer også på opdateringer i sitemaps. Så selvom IndexNow ikke er et officielt produkt fra Perplexity, fremskynder det stadig opdagelsen, fordi Perplexity bruger lignende infrastruktur som andre understøttede platforme.
Hvor ofte skal jeg opdatere mit sitemap, hvis jeg hele tiden udgiver indhold?
Udgiver du ofte, så automatisér opdateringen af sitemappet. De fleste CMS-systemer opdaterer sitemaps automatisk, hver gang du udgiver eller ændrer en side. Lastmod-tagget bliver også opdateret automatisk. Du bør ikke opdatere din sitemap-fil manuelt. Sæt automatisering op og lad den køre i baggrunden.
Skal jeg lave ét stort sitemap eller flere, der er delt op?
Sitemaps, der er delt op, klarer sig 67 % bedre end én stor fil. Har du mere end 500 sider, så del dit sitemap op efter type indhold eller sektion. Lav ét til blogindlæg, ét til produkter, ét til guides og så videre. List derefter alle de delte sitemaps i en sitemap-indeksfil. Crawlere finder mere indhold hurtigere, fordi du har fortalt dem præcis, hvor de skal lede efter det, der betyder mest for dig.
Hvad hvis jeg bruger WEMASY eller en anden platform, der laver sitemaps automatisk?
De fleste moderne platforme tager sig af sitemaps og integration med IndexNow for dig. Tjek indstillingerne for din hjemmeside. Understøtter din platform IndexNow, så slå det til. Laver den sitemaps automatisk (det gør de fleste), så tjek, at lastmod-datoerne opdateres korrekt, når du udgiver eller redigerer indhold. Virker automatiseringen, har du ikke mere at gøre.
Hvor lang tid går der, før indhold dukker op i AI-svar, når jeg har sendt det med IndexNow?
Hastigheden for opdagelse varierer. Nogle AI-crawlere når dit indhold inden for minutter efter en indsendelse via IndexNow. Andre bruger op til 24 timer. Perplexity er som regel hurtigst. Hvornår indholdet faktisk dukker op i AI-svar, afhænger af, om dit indhold er godt nok til at blive citeret. At en crawler finder din side, betyder ikke, at en AI-søgemaskine bruger den. Hurtigere opdagelse hjælper, men godt indhold betyder mere. Besvarer din side spørgsmålet direkte og har friske data, har du en chance. Er den tynd eller vag, hjælper hurtig opdagelse ikke.