Sådan påvirker HTTPS og SSL-certifikater AI-crawleres adgang

SSL-fejl blokerer alle AI-crawlere. Lær, hvorfor HTTPS er vigtigt, hvad der ødelægger AI-indeksering, og hvordan du tjekker din opsætning.

Kladde

Din hjemmesides SSL-certifikat virker fint for menneskelige besøgende. Men AI-crawlere som GPTBot, ClaudeBot og PerplexityBot kan slet ikke få adgang til dit indhold.

De fleste GEO-strategier handler om robots.txt og optimering af indhold. Men før en AI-crawler overhovedet kan læse din robots.txt, skal den gennemføre et HTTPS-håndtryk med din server. Fejler det håndtryk, er dit indhold usynligt for AI, uanset hvor godt du optimerer det.

Her forklarer vi, hvorfor HTTPS og SSL-certifikater er fundamentet for synlighed i AI. Du lærer, hvilke sikkerhedslag der påvirker crawlere, hvilke SSL-fejl der blokerer AI-indeksering, og hvordan du tjekker, at alle store AI-platforme kan nå din hjemmeside.

Hvad HTTPS og SSL-certifikater er

HTTPS er HTTP med et sikkerhedslag ovenpå. Når en besøgende eller en crawler forbinder til din hjemmeside, krypterer HTTPS de data, der løber mellem deres browser (eller crawler) og din server. Det sker med SSL (Secure Sockets Layer) eller dets moderne afløser TLS (Transport Layer Security).

Et SSL-certifikat er den digitale legitimation, din server bruger til at bevise, at den er den, den udgiver sig for at være. Det indeholder din hjemmesides domænenavn, udstederen af certifikatet og en udløbsdato. Når en crawler kommer til din hjemmeside, viser din server certifikatet som bevis på identitet. Crawleren tjekker certifikatet, før den henter noget indhold.

Denne proces er usynlig for besøgende i moderne browsere, de ser bare en grøn lås. Men hvis dit certifikat mangler, er udløbet, er selvsigneret eller ikke passer til dit domænenavn, fejler håndtrykket. Og så bliver crawlere helt blokeret.

Hvorfor AI-crawlere har brug for HTTPS for at nå dit indhold

AI-crawlere sender HTTP-forespørgsler ligesom Googlebot. De følger links, henter sider og læser HTML. Men i modsætning til nogle ældre crawlere kræver alle moderne AI-platforme (ChatGPTs crawler, Perplexitys crawler, Claudes crawler) en gyldig HTTPS-forbindelse, før de overhovedet prøver at læse robots.txt eller hente en enkelt side.

Sådan går det til, når en AI-crawler besøger din hjemmeside. Først prøver den at oprette en sikker forbindelse til dit domænenavn med TLS. Din server svarer med et SSL-certifikat. Crawleren tjekker, at certifikatet er ægte og passer til dit domænenavn. Først når tjekket lykkes, sender crawleren rigtige forespørgsler efter dit indhold.

Er dit SSL-certifikat ugyldigt eller udløbet, stopper crawleren i andet trin og henter aldrig dit indhold. Set fra crawlerens side er din hjemmeside utilgængelig. Den prøver ikke igen i morgen. Den markerer dit domænenavn som utilgængeligt og går videre.

Det er anderledes end traditionel SEO, hvor Google prøver mislykkede forespørgsler igen og til sidst indekserer indholdet, selv om der var midlertidige forbindelsesproblemer. AI-crawlere er strengere ved første forsøg på adgang. Et mislykket SSL-håndtryk på den første forespørgsel betyder ofte slet ingen indeksering.

Sådan blokerer problemer med SSL-certifikater AI-crawlere

Ikke alle SSL-problemer er lette at få øje på. Et certifikat kan være installeret rigtigt og alligevel ikke blive godkendt af bestemte crawlere. De mest almindelige blokeringer er:

Udløbne certifikater

Et certifikat, der har passeret sin udløbsdato, er ugyldigt. Crawlere afviser det med det samme. Nogle hjemmesider bruger meget kortvarige certifikater (30 til 90 dage) og fornyer dem automatisk. Hvis automatikken svigter, udløber certifikatet uden at nogen opdager det, og crawlerne mister adgangen øjeblikkeligt.

Selvsignerede certifikater

Et selvsigneret certifikat er underskrevet af din egen server i stedet for af en betroet certifikatudsteder. Browsere og crawlere stoler ikke på selvsignerede certifikater, for alle kan lave et og påstå at være en anden. Selvsignerede certifikater er fine til udvikling eller interne netværk, men de blokerer al offentlig crawleradgang.

Forkert domænenavn

Hvis dit certifikat er udstedt til example.com, men du åbner hjemmesiden via www.example.com (eller omvendt), passer domænenavnet i certifikatet ikke til det, der bliver bedt om. Crawlere afviser det. Selv en lille forskel tæller: Et SSL-certifikat til sub.example.com bliver ikke godkendt, hvis crawleren beder om content.example.com.

Problemer med certifikatkæden

Et SSL-certifikat sidder i en kæde, der fører tilbage til en rodudsteder. Hvis din server ikke sender hele kæden (du har selve certifikatet, men ikke de mellemliggende certifikater), kan crawlere have svært ved at bekræfte din identitet. Nogle crawlere er imødekommende og leder efter det manglende certifikat på nettet. Andre afviser forbindelsen med det samme.

Problemer med SNI-opsætning

Server Name Indication (SNI) gør det muligt for én server at rumme flere HTTPS-hjemmesider ved at angive, hvilken hjemmeside den besøgende beder om. Hvis din server ikke er sat op til SNI, eller opsætningen er forkert, kan crawlere, der beder om dit domænenavn, få et certifikat til et andet domænenavn. Så fejler godkendelsen.

Sikkerhedsheadere, der påvirker AI-crawlernes adgang

Når SSL-håndtrykket er lykkedes, kan din server sende sikkerhedsheadere, der styrer, hvordan crawlere omgås dit indhold. Disse headere blokerer ikke crawlere helt, men de påvirker, hvordan crawlere håndterer dine sider.

Strict-Transport-Security (HSTS)

HSTS fortæller crawlere, at de altid skal bruge HTTPS og aldrig HTTP, når de besøger din hjemmeside. Det er godt for sikkerheden og blokerer ikke crawlere. Men hvis du sætter HSTS forkert op med en meget lang varighed og senere skifter til et ugyldigt certifikat, tvinges crawlere til at bruge HTTPS uden at kunne gennemføre håndtrykket. Sørg for, at din HSTS-politik altid følges af gyldige certifikater i hele den periode, du har angivet.

X-Frame-Options og X-Content-Type-Options

Disse headere fortæller crawlere, hvordan de skal behandle dit indhold. De forhindrer ikke crawlere i at hente det. Men de kan påvirke, hvordan crawlere læser og trækker oplysninger ud af dine sider.

Content-Security-Policy

CSP-headere kan begrænse, hvilke ressourcer crawlere må hente fra dine sider. Har du en meget stram CSP, der blokerer eksterne ressourcer, kan crawlere måske ikke hente billeder, stylesheets eller scripts, som dine sider henviser til. Det blokerer ikke selve HTML'en, men det begrænser de signaler, crawlere kan trække ud.

Almindelige SSL-fejl og hvad de betyder for AI-indeksering

Når en AI-crawler ikke kan bekræfte dit SSL-certifikat, logger den en fejl. Hvis du forstår fejlene, er det lettere at finde ud af, hvad der er galt. Her er de mest almindelige:

Certifikatet er udløbet

Dit SSL-certifikat har passeret sin udløbsdato. Crawlere ser udløbsdatoen i certifikatet og afviser det. Det er det nemmeste problem at få øje på og rette. Tjek udløbsdatoen på dit certifikat, og forny det, før det udløber.

Certifikatet passer ikke til domænenavnet

Domænenavnet i certifikatet passer ikke til det domænenavn, crawleren beder om. Det sker ofte, når du flytter til et nyt domænenavn og glemmer at opdatere dit SSL-certifikat, eller når du tilføjer et subdomæne, men dit certifikat kun dækker rodomænet.

Certifikatudstederen kan ikke bekræftes

Crawleren kan ikke føre dit certifikat tilbage til en betroet rodudsteder. Det sker, hvis certifikatet er udstedt af en udsteder, man ikke stoler på, eller hvis din server ikke har sendt hele kæden af mellemliggende certifikater.

Certifikatet er tilbagekaldt

Din certifikatudsteder har tilbagekaldt certifikatet på grund af en sikkerhedshændelse eller en fejlopsætning. Crawlere tjekker tilbagekaldelsesstatus og nægter adgang. Det er sjældent, men alvorligt, når det sker.

Sådan tjekker du din HTTPS-opsætning for AI-crawlere

Den bedste måde at sikre, at AI-crawlere kan nå din hjemmeside, er at teste den selv. Disse tjek er en del af en større teknisk GEO-gennemgang. Sådan tjekker du helt specifikt for HTTPS-problemer:

Brug gratis SSL-tjek på nettet

Gratis værktøjer på nettet laver en komplet analyse af din SSL-opsætning. De tjekker, om certifikatet er gyldigt, om kæden er komplet, hvilke TLS-versioner der understøttes, og om der er kendte sårbarheder. Kør dit domænenavn igennem sådan et værktøj, og ret de fejl, det melder.

Test med curl eller wget

Kør curl -I https://ditdomaene.dk i en terminal. Du kan også bruge wget. Værktøjerne gør det samme som en crawler. Fejler de med en SSL-fejl, fejler crawlere også. Fejlmeddelelsen fortæller præcis, hvad der er galt.

Tjek med OpenSSL

OpenSSL er standardværktøjet til SSL-diagnose. Kør openssl s_client -connect ditdomaene.dk:443 for at se, præcis hvilket certifikat din server viser, og om det bliver godkendt.

Tjek, at certifikatkæden er komplet

Brug et værktøj til SSL-test, som testssl.sh, til at se, om din server sender hele certifikatkæden. Mangler der mellemliggende certifikater, så føj dem til din serveropsætning.

Test på tværs af AI-platforme

Nogle AI-crawlere er strengere end andre, når det gælder SSL-godkendelse. Test din hjemmeside ved at bede ChatGPT, Perplexity, Claude og Google Gemini om et svar, der bruger dit indhold. Kan én platform ikke nå din hjemmeside, så se i dens crawlerdokumentation, om den stiller særlige SSL-krav. AI-platforme opfører sig forskelligt, og du kan læse mere i vores guides til optimering til ChatGPT-søgning og optimering til Perplexity.

Sådan håndterer WEMASY SSL og sikkerhed, så AI-crawlere kan komme ind

Hver hjemmeside, der er bygget på WEMASY, har automatisk HTTPS med et gyldigt SSL-certifikat fra en betroet udsteder. Dit certifikat bliver oprettet og fornyet automatisk. Du behøver ikke holde styr på udløbsdatoer eller fornyelser.

Det betyder, at du ikke selv skal tænke på SSL, når du bygger din hjemmeside, og at du kan bruge tiden på dit indhold.

Du kan se, hvad der er med i hver WEMASY-plan, på siden med priser.

Ofte stillede spørgsmål

Understøtter AI-crawlere både HTTPS og HTTP?

Nej. Alle store AI-crawlere (GPTBot, ClaudeBot, PerplexityBot) kræver udelukkende HTTPS. De understøtter ikke HTTP. En hjemmeside, der kører på HTTP, kan slet ikke nås af AI-crawlere. Kører din gamle hjemmeside stadig på HTTP, så skift til HTTPS med det samme. HTTPS er et krav for adgang for AI-crawlere. Med WEMASYs hjemmesidebygger kan du sætte det op direkte på din hjemmeside.

Virker et wildcard-SSL-certifikat til alle subdomæner?

Ja. Et wildcard-certifikat (*.example.com) dækker alle subdomæner under dit rodomæne. Har du subdomæner som api.example.com eller blog.example.com, dækker et wildcard-certifikat dem alle. Et wildcard-certifikat dækker dog ikke selve rodomænet (example.com), medmindre det udtrykkeligt er med. Sørg for, at dit wildcard-certifikat dækker både wildcard og rodomæne.

Følger AI-crawlere SSL-omdirigeringer fra HTTP til HTTPS?

De fleste gør. Hvis din server sender HTTP-forespørgsler videre til HTTPS (en almindelig opsætning), følger AI-crawlere omdirigeringen og fortsætter med HTTPS-forbindelsen. Det giver dog et ekstra trin og bruger flere af crawlerens ressourcer. Det bedste er at slå HTTP helt fra og kun tillade HTTPS-forbindelser. Så er der ingen omdirigering, og ingen crawlere havner på en ukrypteret udgave af din hjemmeside.

Hvor ofte skal jeg forny mit SSL-certifikat?

Moderne SSL-certifikater holder typisk et år. De fleste hostingudbydere og platforme (også WEMASY) fornyer automatisk. Du behøver ikke forny manuelt, medmindre du har en meget gammel hostingopsætning. Sæt gerne en påmindelse i kalenderen 30 dage før udløb for en sikkerheds skyld, men automatisk fornyelse bør helt forhindre udløb.

Skader et dårligt SSL-certifikat min SEO-placering?

Ja. Google kræver HTTPS og ser hjemmesider uden gyldigt HTTPS som dårligere. Et udløbet eller ugyldigt SSL-certifikat behandles som en HTTP-hjemmeside og straffes i placeringerne. For synlighed i AI er straffen endnu hårdere, fordi AI-crawlere slet ikke kan komme ind med udløbne certifikater. De indekserer ikke dit indhold, uanset hvor godt det er optimeret.

Kan jeg bruge et selvsigneret certifikat på en hjemmeside i drift?

Nej. Selvsignerede certifikater bliver afvist af alle store crawlere og browsere. De passer kun til udvikling, test eller interne netværk, hvor du styrer alle de klienter, der forbinder til serveren. Til enhver offentlig hjemmeside skal du bruge et certifikat fra en betroet certifikatudsteder (CA). De fleste udstedere tilbyder meget billige eller gratis certifikater til almindelig brug.

Brug det med det samme
på din egen hjemmeside.

Start gratis med WEMASY, og byg din side på få minutter.