Søgemaskinernes bots besøger din hjemmeside konstant. De crawler sider, følger links og tjekker for opdateringer. Men du kan ikke se denne aktivitet i Google Search Console. Du kan kun se den i dine serverlogs. Serverlogs registrerer hver eneste anmodning til din server, herunder hvilken bot der sendte den, hvilken side den crawlede, hvor lang tid det tog, og hvilken svarkode den fik. Analyse af logs afslører, hvordan søgemaskiner faktisk behandler din hjemmeside.
Hvad er serverlogs?
Serverlogs er optegnelser over hver anmodning til din webserver. Hver linje svarer til én anmodning. Loggen viser den besøgendes IP-adresse, hvad vedkommende anmodede om, hvornår, hvilken svarkode serveren returnerede, og hvor mange data der blev sendt.
Alle udbydere af hosting gemmer serverlogs. Du kan få adgang til dem via kontrolpanelet hos din hosting eller via FTP. Almindelige logformater er adgangslogs fra Apache og logs fra Nginx. De fleste udbydere af hosting lader dig downloade logs til analyse.
Logfiler kan være enorme. En travl hjemmeside genererer gigabytes af logs om dagen. Analyse af dem kræver værktøjer. Du kan ikke læse millioner af logposter manuelt.
Forstå user-agents for crawlere
Hver bot identificerer sig med en user-agent-streng. Googlebot er Googles crawler. Bingbot er Bings crawler. Slurp er Yahoos crawler. Andre søgemaskiner har deres egne bots.
Du kan filtrere logs efter user-agent for kun at se anmodninger fra bestemte crawlere. Det fortæller dig, hvor ofte hver søgemaskine crawler din hjemmeside.
Vær på vagt over for falske user-agents. Ondsindede aktører udgiver sig for at være søgemaskiner. En user-agent-streng, der siger "Googlebot", er måske ikke rigtig Googlebot. Verificér IP-adressen. Rigtige IP-adresser for Googlebot er offentliggjort af Google.
Hvad du kan lære af logs
Crawlfrekvens: Hvor ofte crawler hver søgemaskine din hjemmeside? Dagligt? Ugentligt? Flere gange om dagen? Crawlfrekvens viser, hvor meget Google værdsætter din hjemmeside.
Mønstre i crawling: Hvilke sider besøger crawleren? Crawler den vigtige sider oftere? Spilder den tid på uvigtige sider? Det afslører fordelingen af crawl-budget.
Svarkoder: Returnerer sider 200 (succes) eller fejl? Mange 4xx- eller 5xx-fejl indikerer problemer.
Crawlhastighed: Hvor lang tid bruger botten på at crawle? Hurtig crawling indikerer, at siderne indlæses hurtigt. Langsom crawling indikerer problemer med præstation.
Botternes adfærd: Følger bots robots.txt? Respekterer de nofollow? Crawler de billeder og CSS? Det afslører, om din tekniske opsætning er korrekt.
Sådan analyserer du logs
Download dine logs. Gå til kontrolpanelet hos din hosting, find afsnittet med logs, og download adgangslogs for den periode, du vil analysere.
Brug værktøjer til analyse af logs. Analyseprogrammer til logfiler kan fortolke logs og udtrække indsigt. Disse værktøjer filtrerer efter user-agent, IP-adresse, svarkode og meget mere.
Filtrér efter crawlere. Fokusér på anmodninger fra søgemaskinernes bots. Filtrér almindelig brugertrafik fra. Det isolerer crawlernes adfærd.
Analysér mønstre. Se på tendenser i crawlfrekvens. Stiger eller falder crawlingen? Stiger andelen af fejl? Matcher mønstrene i crawling dine forventninger?
Almindelige fund i analyse af logs
Uvigtige sider bliver crawlet mere end vigtige sider. Det indikerer et problem med hjemmesidens struktur. Vigtige sider bør crawles oftere. Brug robots.txt eller interne links til at prioritere vigtige sider.
Høj andel af fejl. Mange 4xx- eller 5xx-svar indikerer ødelagte sider eller problemer med serveren. Ret fejlene for at forbedre crawlbarhed.
Lav crawlfrekvens. Hvis søgemaskiner crawler din hjemmeside sjældent, kan det indikere lav autoritet eller dårlig kvalitet af indholdet. Forbedr indhold og backlinks for at tiltrække flere crawlinger.
Bots crawler blokerede sider. Hvis robots.txt blokerer sider, men crawlere stadig anmoder om dem, ignorerer bots dine regler for blokering. Det er som regel ufarligt.
Begrænsninger ved analyse af logs
Analyse af logs viser anmodninger til din server, men ikke al crawleraktivitet. Nogle søgemaskiner bruger caching. De crawler måske ikke hver URL hver gang. Crawlinger fra cache vises ikke i logs.
Analyse af logs viser ikke beslutninger om indeksering. Bare fordi en side blev crawlet, betyder det ikke, at den blev indekseret. Søgemaskiner crawler og kasserer sider hele tiden.
Store logfiler er svære at håndtere. En travl hjemmeside genererer massive logs. Analyse af gigabytes af data kræver kraftfulde værktøjer og ekspertise.
Logdata er tekniske. Det kræver forståelse af HTTP-svar, user-agent-strenge og serveradfærd. Det er ikke begyndervenligt.
Ofte stillede spørgsmål
Hvor finder jeg mine serverlogs?
Din udbyder af hosting har serverlogs. Log ind på kontrolpanelet hos din hosting (cPanel, Plesk osv.), og kig efter et afsnit, der hedder Logs eller Statistik. De fleste udbydere lader dig downloade rå logs. Nogle tilbyder log-viewere. Hvis du ikke kan finde dem, så kontakt din udbyder af hosting. Med WEMASY's hjemmesidebygger kan du sætte det op direkte på din hjemmeside.
Hvor langt tilbage går serverlogs?
Det varierer fra udbyder til udbyder. Nogle gemmer logs i 30 dage, andre i 90 dage. Hosting til virksomheder gemmer måske logs i flere år. Tjek dokumentationen for din hosting. Hvis du har brug for historiske logs, så download og arkivér dem regelmæssigt.
Skal jeg analysere logs selv eller hyre nogen?
For de fleste hjemmesider er Google Search Console nok. Analyse af logs er avanceret og teknisk. Brug kun logs, hvis GSC ikke giver dig de svar, du har brug for. Hvis du analyserer logs, så brug et dedikeret analyseprogram til logfiler. Mangler du ekspertise, så hyr en SEO-konsulent.
Kan jeg bruge logs til at opdage dårlige bots?
Ja. Logs viser alle anmodninger, også fra dårlige bots. Kig efter usædvanlige user-agent-strenge, høje hyppigheder af anmodninger eller mønstre i crawling, der ikke giver mening. Dårlige bots crawler ofte din hjemmeside meget hurtigere end legitime crawlere. Du kan blokere dem med robots.txt eller din firewall.
Hjælper analyse af logs med at forbedre mine placeringer?
Indirekte. Analyse af logs hjælper dig med at forstå problemer med crawling, problemer med hjemmesidens struktur og flaskehalse i præstation. Når du retter dem, forbedrer du din hjemmeside for både crawlere og brugere, hvilket kan forbedre placeringer. Men logs er et værktøj til diagnose, ikke en rangeringsfaktor i sig selv.
Hvad er forskellen på logs og data fra Search Console?
Logs viser hver anmodning til din server. Search Console viser, hvad Google gjorde med disse anmodninger (indekserede, afviste osv.). Logs er rå data. Search Console er Googles fortolkning af dataene. Brug begge sammen for at få det fulde billede.