Søgemaskiner forsøger at crawle din hjemmeside, og noget går galt. En side returnerer en 500-fejl. En side får timeout. En side kan ikke nås. Det er crawlfejl. De fortæller Google, at din hjemmeside har problemer. Mange crawlfejl skader placeringer og forhindrer, at sider bliver indekseret. Jo flere crawlfejl du har, jo færre sider crawler Google. Du skal finde og rette crawlfejl hurtigt.
Hvad er crawlfejl?
Crawlfejl opstår, når Google forsøger at crawle en side og støder på et problem. Siden kan returnere en 5xx-fejl fra serveren. Den kan få timeout og ikke svare. Den kan være blokeret af robots.txt eller omdirigeret i det uendelige. Ethvert problem, der forhindrer Google i at crawle en side med succes, er en crawlfejl.
Crawlfejl er noget andet end problemer med indeksering. En side kan crawles med succes, men ikke blive indekseret (på grund af noindex eller andre årsager). Det er ikke en crawlfejl. En crawlfejl er, når selve crawlingen fejler.
Typer af crawlfejl
500 Internal Server Error betyder, at noget på din server er i stykker. Et script gik ned. En forespørgsel til databasen fejlede. Serveren kan ikke behandle anmodningen. Ret det underliggende problem på din server.
503 Service Unavailable betyder, at serveren midlertidigt er nede. Det er normalt under vedligeholdelse. Ret det, der forårsagede den midlertidige nedetid.
Timeout betyder, at siden tog for lang tid at svare. Google gav op med at vente. Det betyder som regel, at din server er langsom eller overbelastet. Optimér din server, eller opgradér din hosting.
Fejl i omdirigering betyder, at siden omdirigerer forkert. Måske omdirigerer den til sig selv (uendelig løkke). Måske omdirigerer den til en side, der er i stykker. Ret kæden af omdirigeringer.
Ikke fundet (404) er teknisk set ikke en crawlfejl. Siden returnerer 404 korrekt. Men hvis det er en vigtig side, der burde findes, så undersøg, hvorfor den returnerer 404.
Blokeret af robots.txt betyder, at robots.txt forhindrer crawling. Det kan være bevidst (du blokerede siden med vilje) eller ved et uheld (du blokerede for meget). Gennemgå din robots.txt.
Hvorfor crawlfejl betyder noget
Crawlfejl fortæller søgemaskiner, at din hjemmeside har problemer. Hvis søgemaskiner støder på mange crawlfejl, antager de, at din hjemmeside er i stykker, og mindsker hyppigheden af crawling. Det betyder, at færre sider bliver crawlet og indekseret.
Sider, der ikke kan crawles, kan ikke indekseres. Hvis en vigtig side returnerer 500-fejl, holder søgemaskiner op med at prøve at crawle den og fjerner den fra indekset.
Crawlfejl skaber et negativt signal. Søgemaskiner bruger hjemmesidens sundhed som en rangeringsfaktor. En hjemmeside med mange crawlfejl ser ud, som om den er i stykker, og ikke har troværdighed. Dine placeringer lider.
Sådan finder du crawlfejl
Brug din søgemaskines værktøjer for webmastere (Google Search Console for Google). Rapporten om dækning viser crawlfejl. Den lister URL'er, som Google forsøgte at crawle, men fejlede på. Typen af fejl og antallet af sider med hver fejl vises.
Brug rapporten Crawl Stats. Den viser, hvor mange sider Google crawlede på hvilke datoer. Hvis volumen af crawling pludselig falder, har du sandsynligvis crawlfejl.
Brug værktøjet Inspektion af URL. Indtast en bestemt URL, og værktøjet viser, om den blev crawlet med succes, hvornår den blev crawlet, og hvilke fejl den stødte på (hvis nogen).
Tjek logfiler på din server. Din udbyder af hosting har adgang til logfiler, der viser hver anmodning og svar. Kig efter 5xx-fejl eller timeouts.
Almindelige årsager til crawlfejl og rettelser
Din server er overbelastet. For mange anmodninger giver timeouts og 503-fejl. Opgradér din hosting, eller optimér din kode til at håndtere mere trafik.
Et script på din hjemmeside er i stykker. En PHP-fejl eller en fejl i databasen giver 500-fejl. Tjek dine fejllogs, og ret den ødelagte kode.
Robots.txt er for restriktiv. Du blokerede ved et uheld vigtige sider. Gennemgå robots.txt, og fjern for brede regler med disallow.
Kæder af omdirigeringer er i stykker. Side A omdirigerer til B, som omdirigerer til C, som er i stykker. Ret kæden af omdirigeringer, så den peger direkte på den endelige destination.
En side har et noindex-tag. Google crawler den, men indekserer den ikke på grund af noindex. Hvis det er bevidst, så ignorér det. Hvis det er ved et uheld, så fjern noindex-tagget.
Ret crawlfejl
Identificér typen af fejl. Forskellige fejl kræver forskellige rettelser. 500-fejl kræver rettelser på serveren. Timeouts kræver optimering af præstation. Fejl i omdirigering kræver rettelser af omdirigeringer.
Ret det underliggende problem. For 500-fejl skal du rette den ødelagte kode eller det ødelagte script. For timeouts skal du optimere præstation. For omdirigeringer skal du rette kæden.
Verificér rettelsen. Brug værktøjet Inspektion af URL til at hente siden igen. Google crawler den igen og rapporterer, om fejlen er rettet.
Overvåg crawl stats. Efter at have rettet fejl skal du overvåge volumen af crawling i dine værktøjer for webmastere. Volumen af crawling bør stige, efterhånden som søgemaskiner crawler flere sider med succes.
Ofte stillede spørgsmål
Hvor mange crawlfejl skal jeg tolerere?
Nul er målet. Men nogle crawlfejl er uundgåelige. Nogle få crawlfejl på uvigtige sider er ikke en stor sag. Hundredvis af crawlfejl indikerer alvorlige problemer. Hvis du har mere end 50 crawlfejl, så undersøg og ret dem. Med WEMASY's hjemmesidebygger kan du sætte det op direkte på din hjemmeside.
Skader crawlfejl direkte placeringer?
Ikke direkte, men de forhindrer sider i at blive indekseret og skader signaler om hjemmesidens sundhed. En side med en crawlfejl kan ikke placere sig (den er ikke indekseret). Mange crawlfejl signalerer til Google, at din hjemmeside er i stykker, hvilket indirekte skader alle dine placeringer.
Skal jeg rette alle crawlfejl med det samme?
Prioritér. Ret først crawlfejl på vigtige sider (forsiden, de vigtigste landingssider, penge-sider). Mindre vigtige sider (arkiveret indhold, sider med værktøjer) kan vente. Ret de mest skadelige fejl først.
Kan crawlfejl på gammelt indhold skade min hjemmeside?
Noget. Hvis du har tusindvis af arkiverede sider, der returnerer 404 eller 500, skaber det støj og spreder crawl-budget ud på sider, der er i stykker. Det er bedre at slette gammelt indhold eller omdirigere det til relevant nyt indhold end at lade det være i stykker.
Hvor lang tid tager det, før søgemaskiner crawler igen, efter jeg har rettet en fejl?
Som regel nogle få dage. Når du har rettet en crawlfejl, crawler søgemaskiner siden igen i deres næste cyklus for crawling. Brug værktøjet Inspektion af URL til at anmode om ny crawling. Det fremskynder processen. Efter ny crawling opdaterer værktøjerne for webmastere rapporten om dækning.
Hvad er forskellen på crawlfejl og fejl i indeksering?
Crawlfejl sker, når Google ikke kan crawle en side (500-fejl, timeouts). Fejl i indeksering sker, når en side crawles med succes, men ikke kan indekseres (problemer med indholdet, noindex-tag). Crawlfejl forhindrer indeksering helt. Fejl i indeksering betyder, at siden blev crawlet, men ikke indekseret af andre årsager.