Om ChatGPT kan finde og citere dit indhold, afgøres af tre forskellige ting: robots.txt, metatags og HTTP-headers. De fleste kender kun én af dem. Når du forstår alle tre, kan du vælge din synlighedsstrategi bevidst.
Det handler ikke kun om at blokere eller tillade. Det handler om at gøre det med vilje. Forskellige direktiver giver forskellige resultater. Den forkerte kombination kan slå bagud.
De tre kontrollag
Du har tre måder at fortælle ChatGPTs crawlere, hvad de må med dit indhold.
Lag 1: robots.txt
Denne fil ligger i roden af dit domæne og fortæller crawlere, hvad de må og ikke må komme ind på, enten på hele hjemmesiden eller i bestemte dele. Den styrer, om siderne bliver fundet og crawlet.
Lag 2: Meta robots-tags
Disse HTML-metatags sidder på de enkelte sider og fortæller crawlere, hvad de skal gøre, efter de har fundet og læst siden. De styrer indeksering og brug af netop den side.
Lag 3: X-Robots-Tag HTTP-headers
Denne header i din servers HTTP-svar har samme formål som meta robots-tags, men kan bruges på hele hjemmesiden eller på bestemte indholdstyper. Det er nyttigt til indhold, der ikke er HTML, for eksempel PDF-filer.
De fleste tænker kun på robots.txt og glemmer de to andre. Alle tre virker sammen.
Lag 1: Sådan virker robots.txt og OAI-SearchBot
Din robots.txt-fil taler med OAI-SearchBot (ChatGPTs søgecrawler). ChatGPT respekterer de almindelige robots.txt-direktiver.
Sådan giver du OAI-SearchBot adgang til dit indhold
User-agent: OAI-SearchBot
Allow: /
Det er standarden. OAI-SearchBot crawler hele din hjemmeside, og dit indhold bliver synligt i ChatGPT-søgning.
Sådan blokerer du OAI-SearchBot helt
User-agent: OAI-SearchBot
Disallow: /
Så kan ChatGPT-søgning ikke finde dit indhold. Dine sider dukker ikke op i ChatGPTs svar.
Sådan tillader du OAI-SearchBot, men styrer crawl-hastigheden
User-agent: OAI-SearchBot
Allow: /
Crawl-delay: 1
Direktivet Crawl-delay får botten til at vente 1 sekund mellem hver forespørgsel. Det hjælper dig med at holde styr på belastningen, hvis ChatGPTs crawler rammer din server for ofte.
Sådan blokerer du bestemte dele
User-agent: OAI-SearchBot
Disallow: /admin/
Disallow: /private/
Allow: /
Her bliver mapperne /admin/ og /private/ ikke crawlet, mens alt andet er åbent.
Princippet er: robots.txt styrer, om siderne bliver fundet og crawlet. Hvis du blokerer en crawler her, kommer den slet ikke ind på siden og kan derfor heller ikke læse siden metatags.
Lag 2: Meta robots-tags, kontrol efter fundet
Når OAI-SearchBot har crawlet din side (altså ikke var blokeret i robots.txt), fortæller meta robots-tags, hvad den skal gøre med indholdet.
Opbygningen af meta robots-tagget
<meta name="robots" content="directive1, directive2">
De vigtigste direktiver til AI-crawlere
noindex: Indekser ikke siden, og tag den ikke med i resuméer. Crawleren ser siden, men bruger den ikke.
nofollow: Følg ikke links fra siden. Crawleren kan se siden, men crawler ikke linkene på den.
noai: Brug ikke indholdet til at træne AI-modeller. Siden kan stadig vises i søgeresultater, men OpenAI må ikke bruge den til at træne sprogmodeller.
noimageai: Brug ikke billederne på siden til at træne billedmodeller.
Eksempel
<meta name="robots" content="noindex">
Det fortæller alle crawlere (Google, Bing, ChatGPT osv.), at siden ikke skal indekseres. ChatGPT citerer den ikke, Google viser den ikke, og Bing tager den ikke med.
Kun til OAI-SearchBot
<meta name="robots" content="noai">
Det fortæller specifikt OAI-SearchBot, at indholdet ikke må bruges til træning. Siden kan stadig blive citeret i ChatGPTs søgeresultater, men OpenAI må ikke bruge den til modeltræning.
Vigtig regel: Kombinér ikke robots.txt og noindex
Det her er den vigtigste tekniske regel. Gør aldrig dette:
User-agent: OAI-SearchBot
Disallow: /article/
Og sæt samtidig dette på artikelsiden:
<meta name="robots" content="noindex">
Hvorfor: Hvis du blokerer OAI-SearchBot i robots.txt, så den ikke må komme ind på /article/, henter crawleren aldrig siden. Den læser aldrig metatagget. Noindex virker ikke, fordi crawleren aldrig ser det. Hvis andre hjemmesider linker til din side, kan nogle crawlere desuden indeksere den alligevel, fordi de fandt den via linkene, selvom din robots.txt sagde nej.
Reglen: Brug enten robots.txt ELLER metatags, ikke begge dele til det samme direktiv.
Bedste praksis: Brug robots.txt til at styre crawling på hele hjemmesiden (tillad eller bloker hele afsnit). Brug metatags til styring på sideniveau (enkeltsider med særlige regler).
Lag 3: X-Robots-Tag HTTP-headers
Hvis du vil styre crawlernes adfærd for indhold, der ikke er HTML (PDF-filer, billeder osv.), eller bruge regler på flere sider uden at redigere hver enkelt, så brug HTTP-headeren X-Robots-Tag.
Eksempel:
X-Robots-Tag: noindex, nofollow
Den bruges på serverniveau og fortæller alle crawlere, at de ikke skal indeksere og ikke skal følge links på nogen side, der leveres med denne header.
Du kan også bruge den målrettet:
X-Robots-Tag: OAI-SearchBot: noai
Det fortæller kun OAI-SearchBot, at den ikke må bruge dit indhold til træning, mens den stadig må bruge det i søgning.
Strategiske valg: Hvad vil du egentlig have
Dit valg afhænger af dit mål.
Mål 1: Flest mulige citater i ChatGPT
Tillad i robots.txt, ingen noindex-metatags. Lad OAI-SearchBot finde og citere dig.
User-agent: OAI-SearchBot
Allow: /
Ingen begrænsende metatags.
Mål 2: Vises i ChatGPT-søgning, men ingen modeltræning
Tillad i robots.txt, brug noai-metatagget.
User-agent: OAI-SearchBot
Allow: /
<meta name="robots" content="noai">
Mål 3: Skjul dig for ChatGPT, men vær synlig i andre søgemaskiner
Bloker OAI-SearchBot, tillad de andre.
User-agent: OAI-SearchBot
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
Mål 4: Skjul dig for alle AI-crawlere
Bloker flere bots.
User-agent: OAI-SearchBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Googlebot
Allow: /
Problemet med overholdelse: Ikke alle AI-crawlere følger reglerne
Her er den ubehagelige sandhed: AI-crawlere overholder reglerne i forskellig grad.
Tests viser, at ChatGPT respekterer robots.txt og nogle metatags. Perplexity respekterer begge dele konsekvent. Andre AI-systemer er forskellige. Nogle ældre AI-scrapere ignorerer robots.txt helt.
Du kan styre OpenAIs crawlere effektivt. Du kan ikke styre alle AI-systemer, der måtte skrabe dit indhold.
Sådan hjælper WEMASY dig med at styre crawlernes adgang
WEMASYs hjemmesidebygger har en robots.txt-editor, hvor du kan sætte OAI-SearchBots rettigheder op uden at redigere rå filer. Du kan tilføje meta robots-tags på enkeltsider i SEO-indstillingerne. Hjemmesidebyggeren er sat op med bedste praksis fra start: OAI-SearchBot er tilladt, så du bliver synlig i søgning, og du kan selv tilføje noai, hvis du ikke vil have modeltræning. Følg crawl-loggene for at se, hvilke crawlere der besøger din hjemmeside, og ret rettighederne til. Se WEMASYs værktøjer til crawler-styring.
Ofte stillede spørgsmål
Hvis jeg blokerer OAI-SearchBot i robots.txt, kan mit indhold så stadig dukke op i ChatGPT via links?
Det er usandsynligt. OAI-SearchBot er ChatGPTs vigtigste søgecrawler. Hvis den er blokeret, har du ingen tilstedeværelse i ChatGPT-søgning. Hvis et andet system linker til dit indhold, kan en anden crawler dog hente det. Det kan ikke forudsiges. Med WEMASYs hjemmesidebygger kan du sætte det op direkte på din hjemmeside.
Hvad gør noai-metatagget egentlig?
Det fortæller OpenAI, at dit indhold ikke må bruges til at træne virksomhedens sprogmodeller. Dit indhold kan stadig vises i ChatGPTs søgeresultater med citater. Uden dette tag kan OpenAI bruge dit indhold til at træne ChatGPT og andre modeller.
Skal jeg bruge noindex, hvis jeg ikke vil vises i ChatGPT?
Ja, men forstå, hvad det gør: Noindex fortæller alle crawlere (Google, Bing, ChatGPT osv.), at siden ikke skal indekseres. Brug det, hvis du vil skjule siden i alle søgeresultater. Hvis du kun vil skjule dig for ChatGPT, men stadig være synlig på Google, skal du ikke bruge noindex. Bloker i stedet OAI-SearchBot i robots.txt.
Hvor lang tid tager det, før ændringer i robots.txt eller metatags virker?
Ændringer i robots.txt bliver som regel overholdt inden for 24 timer. Ændringer i metatags bliver overholdt, næste gang crawleren besøger siden igen. Hvis du vil teste med det samme, kan du bruge OpenAIs crawler-test eller Bings værktøj til webmastere.
Kan jeg blokere alle AI-crawlere og samtidig tillade Google?
Ja. I din robots.txt kan du nægte adgang for GPTBot, OAI-SearchBot, ChatGPT-User og andre AI-bots og samtidig tillade Googlebot og Bingbot. Det forhindrer dog ikke AI-systemer, der ikke respekterer robots.txt, i at hente dit indhold.
Hvad nu hvis X-Robots-Tag og robots.txt modsiger hinanden?
robots.txt bliver vurderet først. Hvis robots.txt blokerer en crawler, henter den ikke siden og ser derfor aldrig X-Robots-Tag. Hvis robots.txt tillader den, gælder direktiverne i X-Robots-Tag. Sørg for, at de passer sammen.