Din robots.txt er en tekstfil, der ligger i rodmappen på din hjemmeside. Den fortæller crawlere, hvilke sider de må åbne, og hvilke der er forbudt. For traditionelle søgemaskiner er robots.txt valgfri. For AI-crawlere er den det vigtigste redskab til at styre, om dit indhold bliver indekseret eller blokeret.
Forskellen betyder noget. Google respekterer robots.txt, men crawler alligevel sider, du blokerer, hvis andre hjemmesider linker til dem. AI-crawlere respekterer robots.txt strengere. Blokerer du GPTBot i din robots.txt, citerer ChatGPT ikke dit indhold. Tillader du den, kan dit indhold blive brugt i AI-citationer. Dette kapitel gennemgår, hvad de store AI-crawlere hedder, hvordan du blokerer bestemte bots, og hvilken strategi der giver mening for dit brand.
Sådan virker robots.txt for AI-crawlere
Når en crawler besøger din hjemmeside, er det allerførste, den gør, at lede efter en robots.txt. Den læser filen linje for linje og leder efter regler, der gælder for den. Står der "disallow: /" i din robots.txt, kan ingen crawler åbne nogen side. Står der "disallow: /admin/", kan crawlere åbne alt undtagen admin-mappen.
AI-crawlere følger reglerne mere konsekvent end Googlebot. Blokerer du ClaudeBot i robots.txt, indekserer Claude ikke dit indhold. Punktum. Googlebot kan stadig crawle sider, du blokerer, hvis indholdet er linket fra andre hjemmesider, men AI-crawlere stopper ved anvisningen i robots.txt.
Formatet er enkelt. Du skriver regler, der angiver, hvilke user agents (crawlernes navne) der gælder for hvilke regler, og så oplister du, hvad de crawlere må og ikke må åbne. Filen er ren tekst. Ingen kode. Ingen særlig formatering. Bare regler.
De store AI-crawlere og deres user agent-navne
Hver crawler har et user agent-navn. Når den besøger din hjemmeside, præsenterer den sig med det navn. Du bruger navnet i din robots.txt til at lave regler, der gælder netop den crawler.
Her er de store AI-crawlere, du bør kende:
GPTBot (OpenAI)
GPTBot er OpenAIs crawler. Den indekserer indhold til ChatGPT. Når en bruger slår websøgning til i ChatGPT, henter systemet fra sider, GPTBot har indekseret. GPTBot crawler kraftigt, men respekterer reglerne i robots.txt.
Vil du tillade GPTBot, skal du ikke gøre noget. Den crawler som standard. For at blokere den skal du tilføje disse linjer i din robots.txt:
User-agent: GPTBot
Disallow: /
Reglen siger: "GPTBot, du må ikke åbne nogen side på denne hjemmeside." Hvis du kun vil blokere bestemte dele, kan du være mere præcis. Bloker mappen /admin/, men tillad resten:
User-agent: GPTBot
Disallow: /admin/
ClaudeBot (Anthropic)
ClaudeBot er Anthropics crawler. Den indekserer indhold til Claudes websøgning. ClaudeBot er mere aggressiv end GPTBot. Den sender flere forespørgsler og crawler oftere. Tillader du ClaudeBot, så hold øje med din servers ressourcer.
ClaudeBot præsenterer sig med dette user agent-navn. Brug det i din robots.txt på samme måde som for GPTBot:
User-agent: ClaudeBot
Disallow: /
PerplexityBot (Perplexity)
PerplexityBot crawler nettet for Perplexity. Det er en af de mest hyppige crawlere. Den opdaterer indhold flere gange om dagen, fordi Perplexity prioriterer friskhed. Blokerer du PerplexityBot, dukker dit indhold ikke op i svar fra Perplexity.
User-agent: PerplexityBot
Disallow: /
Googlebot-Extended (Google AI)
Google har to crawlere. Googlebot crawler til traditionel søgning. Googlebot-Extended crawler til Googles AI-systemer som AI Overviews og Gemini. Du kan blokere Googlebot-Extended og samtidig tillade Googlebot.
User-agent: Googlebot-Extended
Disallow: /
Andre crawlere
Andre søgemaskiner har også deres egne crawlere. Princippet er det samme. Find user agent-navnet, og lav en regel.
Strategien: tillade eller blokere?
De fleste brands bør lade AI-crawlere åbne deres indhold. AI-citationer giver trafik af høj kvalitet. Brugere, der finder dit indhold via ChatGPT eller Perplexity, har allerede besluttet, at dit svar er værdifuldt. De klikker videre og køber oftere end besøgende fra traditionel søgning.
Der er undtagelser. Har du fortrolige oplysninger, forretningshemmeligheder eller indhold, du vil holde eksklusivt, giver det mening at blokere AI-crawlere. Har du indhold bag betaling, kan du blokere visse crawlere for at undgå gratis adgang via AI-resuméer. Har du indhold, der er pinligt eller forældet, kan du blokere AI-crawlere, til du har opdateret det.
Men for det meste indhold er regnestykket enkelt. Synlighed i AI giver flere muligheder end risici. Tillad crawlerne. Bliv citeret. Få trafik.
Sådan blokerer du bestemte crawlere og tillader andre
Du behøver ikke vælge alt eller intet. Du kan tillade nogle AI-crawlere og blokere andre.
Tillad Perplexity og GPTBot, men bloker ClaudeBot, fordi ClaudeBots hyppige crawling belaster din server:
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow:
User-agent: PerplexityBot
Disallow:
Et tomt "Disallow:" betyder ingen begrænsning. Den crawler må åbne alt.
Du kan også blokere AI-crawlere fra bestemte områder. Tillad GPTBot overalt undtagen i dit administrationspanel:
User-agent: GPTBot
Disallow: /admin/
Lad den crawle din blog, men ikke dine produkter:
User-agent: GPTBot
Disallow: /products/
Jokerreglen og standardadfærd
Du kan lave regler for bestemte crawlere og en standardregel for alle andre. Stjernen (*) er jokertegnet, der gælder alle crawlere, som ikke er nævnt specifikt.
Denne regel blokerer alle crawlere fra /private/, men tillader alt andet:
User-agent: *
Disallow: /private/
Denne regel blokerer alle crawlere fra at åbne noget som helst:
User-agent: *
Disallow: /
Crawl-delay-direktivet
Du kan bede crawlere om at sætte farten ned. Crawl-delay-direktivet beder en crawler om at vente et bestemt antal sekunder mellem forespørgsler. Hvis din server har det svært med ClaudeBots aggressive crawling, kan du bede den om at sætte farten ned:
User-agent: ClaudeBot
Crawl-delay: 5
Det betyder, at ClaudeBot skal vente 5 sekunder mellem hver forespørgsel. Det gør crawlingen langsommere, men mindsker belastningen på serveren.
Sådan hænger robots.txt sammen med dit sitemap
Din robots.txt kan henvise til dit sitemap. Tilføj denne linje nederst i din robots.txt:
Sitemap: https://yoursite.com/sitemap.xml
Crawlere tjekker din robots.txt og ser henvisningen til sitemappet. Så ved de, hvor de finder kortet over dit indhold. Det gør det hurtigere at finde dit indhold. Det ændrer ikke på, hvad crawlere må åbne. Det fortæller dem bare, hvor de skal kigge.
Sådan tester du din robots.txt
Du kan teste din robots.txt, før du tager den i brug. Google Search Console har en robots.txt-tester. Du skriver en URL og et user agent-navn, og den fortæller, om den crawler må åbne den side ifølge reglerne i din robots.txt.
De fleste hjemmesidebyggere laver automatisk en robots.txt. Tjek dine indstillinger. Hvis du kan redigere den, kan du tilføje egne regler. Hvis ikke, så kontakt din hostingudbyder.
Ofte stillede spørgsmål
Rangerer min hjemmeside stadig i Google, hvis jeg blokerer alle AI-crawlere?
Ja. Blokering af AI-crawlere (GPTBot, ClaudeBot og så videre) påvirker ikke placeringerne i Google. Google bruger Googlebot til traditionel søgning og Googlebot-Extended til AI-funktioner. Vil du kun blokere AI-crawlere, men beholde adgangen for Google, så bloker de konkrete AI-crawlernavne, og lad Googlebot og Googlebot-Extended være åbne. Med WEMASYs hjemmesidebygger kan du sætte det op direkte på din hjemmeside.
Kan jeg blokere AI-træningscrawlere, men tillade AI-søgecrawlere?
Grænsen mellem trænings- og søgecrawlere er flydende. De fleste store AI-virksomheder bruger nu de samme crawlere til begge formål. Blokerer du en AI-crawler helt, blokerer du både dens træningsadgang og dens søgeadgang. Du kan ikke blokere kun træning eller kun søgning med robots.txt. Du blokerer crawleren helt, eller du tillader den.
Hvad sker der, hvis jeg ikke har en robots.txt?
Har du ikke en robots.txt, går crawlere ud fra, at de må åbne alt. Alle crawlere (Google, GPTBot, ClaudeBot og alle andre) indekserer hele din hjemmeside. For de fleste hjemmesider er det den ønskede adfærd. Vil du blokere bestemte crawlere eller områder, skal du have en robots.txt.
Kan AI-crawlere omgå min robots.txt?
I teorien ja, men det gør de ikke. AI-crawlere respekterer robots.txt strengere end Googlebot. Hvis du siger til en AI-crawler, at den skal holde sig væk, holder den sig væk. Dem, der udvikler crawlerne, ved, at det skader deres forhold til udgiverne, hvis de ignorerer robots.txt. De følger reglerne.
Hvor ofte skal jeg opdatere min robots.txt?
Du behøver kun at opdatere den, hvis dine blokeringsregler ændrer sig. Hvis du vil blokere en ny crawler eller åbne et område, der tidligere var blokeret, så opdater den. Ellers kan du lade den være, når den først er sat op. Crawlere tjekker den hver gang, de besøger dig, så ændringer virker med det samme.
Skal jeg blokere AI-crawlere fra min konkurrentanalyse eller private research?
Ja. Har du sider med fortrolig research, konkurrentanalyser eller indhold, du ikke vil have offentligt tilgængeligt, så bloker alle crawlere fra de områder. Tilføj en disallow-regel for den mappe eller de sider. Crawlere indekserer dem ikke, og AI-systemer kan ikke citere dem.