Søgemaskiner crawler din hjemmeside konstant, følger links og indekserer sider. Men ikke hver side fortjener at blive indekseret. Du har private sider, områder til administration, testsider og duplikerede sider, der spilder crawl-budget. Robots.txt er en enkel tekstfil, der fortæller søgemaskiner, hvilke sider de kan og ikke kan crawle. Den er portvagten mellem din hjemmeside og søgemaskinernes bots.
Robots.txt er en tekstfil i almindelig tekst, der ligger i din hjemmesides rodmappe (dinhjemmeside.dk/robots.txt). Den indeholder instruktioner til crawlere i søgemaskiner om, hvilke sider og sektioner på din hjemmeside de har lov til at crawle. Du behøver ikke et login for at få adgang til robots.txt. Den er offentlig. Enhver kan besøge dinhjemmeside.dk/robots.txt og se dine instruktioner.
Søgemaskiner skal efter planen følge reglerne i robots.txt. De fleste gør. Nogle gør ikke. Velopdragne crawlere (Google og velrenommerede søgemaskiner) respekterer robots.txt. Onde aktører og ondsindede bots ignorerer den ofte.
Hvordan ser robots.txt ud?
En enkel robots.txt-fil ser sådan ud:
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /blog/
Sitemap: https://www.example.com/sitemap.xml
Det fortæller alle bots (User-agent: *), at de ikke kan crawle sektionerne /admin/ eller /private/. Den tillader eksplicit /blog/ (hvilket er nyttigt, hvis en overordnet mappe er blokeret). Den peger også bots hen til dit sitemap.
Her er et andet eksempel med mere specifikke regler:
User-agent: Googlebot
Disallow: /temp/
User-agent: *
Disallow: /test/
Disallow: /*.pdf
Crawl-delay: 5
Det blokerer kun Googles crawler fra /temp/. Alle andre bots er blokeret fra /test/ og alle PDF-filer. Crawl-delay fortæller bots, at de skal vente 5 sekunder mellem anmodninger.
Hvordan robots.txt hjælper SEO
Robots.txt hjælper SEO på én hovedmåde: Den bevarer crawl-budget. Søgemaskiner tildeler en begrænset mængde crawl-budget til hver hjemmeside. For små hjemmesider er crawl-budget sjældent et problem. For store hjemmesider med tusindvis af sider betyder crawl-budget noget.
Hvis din hjemmeside har 10.000 sider, men kun 500 er vigtige, vil du have bots til at crawle de 500 vigtige sider flere gange i stedet for at sprede deres crawl-budget ud over alle 10.000 sider. Robots.txt blokerer bots fra at spilde tid på uvigtige sider.
Almindelige sider at blokere: områder til administration, loginsider, sider med tak, testsider, duplikeret indhold, sider med sessioner og midlertidigt indhold. At blokere de sider fortæller bots, at de skal fokusere på indhold, der betyder noget.
Hvad du ikke skal blokere i robots.txt
Bloker ikke sider, du vil placere dig på. Bloker ikke din sektion med blog eller hovedområder med indhold. Bloker ikke filer med CSS, JavaScript eller billeder, der er nødvendige for at rendere sider ordentligt (medmindre du specifikt vil forhindre indeksering).
Google anbefaler ikke at blokere filer med CSS, JavaScript og billeder, selv om du ikke vil have dem indekseret. At blokere de ressourcer kan forhindre Google i at rendere og forstå dine sider ordentligt.
Brug ikke robots.txt til at skjule følsom information. Robots.txt er offentlig. Enhver kan læse dinhjemmeside.dk/robots.txt. Hvis du vil skjule noget helt, så brug beskyttelse med adgangskode eller autentificering på serveren, ikke robots.txt.
Sådan laver du en robots.txt-fil
At lave robots.txt er enkelt. Det er en tekstfil i almindelig tekst. De fleste hjemmesidebyggere og CMS-platforme genererer en automatisk.
Hvis dit CMS ikke har lavet en, så lav den manuelt. Åbn en teksteditor. Skriv dine regler. Gem den som "robots.txt" (ikke "robots.txt.txt"). Upload den til din hjemmesides rodmappe (dinhjemmeside.dk/robots.txt).
Test din robots.txt-fil. Gå til Google Search Console, vælg din ejendom, gå til værktøjet Robots.txt Tester, og indsæt dine regler. Google viser dig, hvad filen blokerer og tillader. Det bekræfter, at dine regler virker som tilsigtet.
Almindelige regler i robots.txt og eksempler
Her er den mest almindelige regel: Bloker alle bots fra en bestemt mappe.
User-agent: *
Disallow: /admin/
Her er, hvordan du blokerer en bestemt filtype (som PDF'er):
User-agent: *
Disallow: /*.pdf
Her er, hvordan du blokerer alle bots undtagen Google:
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow:
Her er, hvordan du tilføjer en forsinkelse for crawling (vent X sekunder mellem anmodninger):
User-agent: *
Crawl-delay: 10
Her er, hvordan du peger bots hen til dit sitemap:
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap2.xml
Vigtige begrænsninger ved robots.txt
Robots.txt er ikke et værktøj til sikkerhed. Det er et system af høflighed. Dårlige bots, hackere og ondsindede crawlere ignorerer robots.txt fuldstændigt. Brug den ikke til at skjule følsomme data eller beskytte vigtige sider. Brug beskyttelse med adgangskode til dem.
Robots.txt garanterer ikke udelukkelse fra søgeresultater. Google indekserer nogle gange sider, der er opført i robots.txt, hvis de er linket fra andre indekserede sider. Blokeringen forhindrer crawling, men ikke indeksering, hvis siden er linket et andet sted.
Robots.txt er ikke et noindex. Hvis du vil forhindre indeksering helt, så brug et robots-metatag eller headeren X-Robots-Tag, ikke robots.txt. Robots.txt styrer kun crawling, ikke indeksering.
Ofte stillede spørgsmål
Påvirker robots.txt placeringer i SEO?
Indirekte. Robots.txt påvirker ikke direkte placeringer. Men ved at lede crawl-budget til vigtige sider hjælper du søgemaskiner med at crawle og indeksere dit bedste indhold hyppigere. Bedre crawling fører til bedre indeksering, som fører til bedre potentiale for placering. Så robots.txt hjælper placeringer indirekte gennem styring af crawl-budget. Med WEMASY's hjemmesidebygger kan du sætte det op direkte på din hjemmeside.
Kan jeg blokere Google fra at crawle min hjemmeside?
Ja, men det bør du ikke. Du kan afvise Googlebot i robots.txt, men det forhindrer Google i at indeksere din hjemmeside. Din hjemmeside forsvinder fra Google-søgning. Den eneste grund til at gøre det er, hvis du tager din hjemmeside offline eller flytter den og ikke vil have den gamle version indekseret. I næsten alle tilfælde bør du lade Google crawle.
Skelner robots.txt mellem store og små bogstaver?
Delvist. Kommandoerne User-agent og Disallow skelner ikke mellem store og små bogstaver. De stier, du afviser, skelner mellem store og små bogstaver på de fleste servere. /Admin/ og /admin/ er forskellige stier. Test dine regler i Google Search Console for at være sikker på, at de virker som tilsigtet.
Skal jeg blokere duplikerede sider med robots.txt?
Det afhænger. Robots.txt blokerer crawling, men ikke indeksering. Hvis du vil forhindre, at duplikerede sider bliver indekseret, så brug canonical-tagget eller noindex i robots-metatagget i stedet. Brug robots.txt til at blokere crawling af uvigtige dubletter, som du er ligeglad med, om Google nogensinde finder.
Skal jeg give Google besked, når jeg ændrer robots.txt?
Nej. Google crawler robots.txt hyppigt. Ændringer træder som regel i kraft inden for timer. Du behøver ikke indsende din hjemmeside igen eller give nogen besked. Opdatér bare robots.txt, og vent på næste crawling.
Hvad er forskellen på robots.txt og robots-metatags?
Robots.txt blokerer crawling på niveau med filen. Robots-metatags styrer indeksering på niveau med siden. Robots.txt siger, at en side ikke kan crawles. Robots-metatags (som noindex) siger, at en side kan crawles, men ikke bør indekseres. Brug robots.txt til store sektioner, du vil have blokeret. Brug robots-metatags til enkelte sider, du vil have crawlet, men ikke indekseret.