Tillat eller blokker KI-crawlere: robots.txt og llms.txt
KI-tjenester som ChatGPT, Claude, Gemini og Perplexity henter nettsider for å trene modeller, gi svar i søk eller svare på et spørsmål fra en bruker. Med robots.txt bestemmer du hvilke av disse robotene som får besøke nettstedet ditt. I tillegg finnes forslaget llms.txt. I denne artikkelen leser du hvilke roboter som finnes, hvordan du slipper dem inn eller blokkerer dem, og hva llms.txt gjør og ikke gjør. Vi bruker example.com som eksempel.
1. De viktigste KI-robotene
De fleste KI-selskaper bruker egne navn for trening, søk og henting på forespørsel fra en bruker. Slik kan du for eksempel blokkere trening og likevel bli vist i søkesvar.
| Navn i robots.txt | Fra | Formål |
|---|---|---|
GPTBot | OpenAI | Samler inn sider som kan brukes til å trene modeller |
OAI-SearchBot | OpenAI | Søkefunksjonen i ChatGPT. Blokkerer du denne, vises ikke nettstedet ditt i søkesvarene til ChatGPT |
ChatGPT-User | OpenAI | Henter en side når en bruker ber om det. Ifølge OpenAI gjelder robots.txt kanskje ikke her |
ClaudeBot | Anthropic | Samler inn sider som kan brukes til å trene modeller |
Claude-SearchBot | Anthropic | Indekserer sider for søkefunksjonen i Claude |
Claude-User | Anthropic | Henter en side når en bruker ber om det |
Google-Extended | Ikke en egen robot, men et navn du bruker for å angi om Google kan bruke innholdet ditt til å trene Gemini-modeller og til grounding. Ifølge Google påvirker dette ikke plasseringen din i Google Søk | |
PerplexityBot | Perplexity | Viser og lenker til nettsteder i søkeresultatene til Perplexity, ikke til trening |
Perplexity-User | Perplexity | Henter en side når en bruker ber om det. Ifølge Perplexity ignorerer denne vanligvis robots.txt |
Listen endres jevnlig. Se dokumentasjonen fra OpenAI, Anthropic, Google og Perplexity for oppdaterte navn.
2. Et eksempel på robots.txt
Dette eksempelet blokkerer trening av modeller, men slipper inn søkeroboter og vanlige søkemotorer:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- En robot følger bare gruppen med sitt eget navn, og ellers gruppen
*. I eksempelet får GPTBot altså ikke besøke noe, ogDisallow: /winkelmand/gjelder ikke for GPTBot. - Vil du slippe inn alle KI-roboter, trenger du ikke gjøre noe: uten regler er alt tillatt.
- Blokkerer du ved et uhell en søkerobot, som
OAI-SearchBot,Claude-SearchBotellerPerplexityBot, blir du dårligere funnet i disse KI-søketjenestene. - Blokkering virker bare fremover. Det som allerede er hentet, får du ikke tilbake.
public_html for domenet ditt. Du oppretter eller redigerer den via Filbehandler eller FTP. WordPress lager selv en robots.txt så lenge det ikke finnes en fil, og AI Builder legger selv inn en når du publiserer. Mer om hvordan robots.txt fungerer, leser du i Holde en side utenfor Google: robots.txt eller noindex?.3. Hva er llms.txt?
llms.txt er et forslag fra 2024 om en tekstfil på https://example.com/llms.txt. I den skriver du i Markdown en kort beskrivelse av nettstedet ditt og lenker til de viktigste sidene, slik at en KI-tjeneste raskt ser hvor den riktige informasjonen ligger. Et enkelt eksempel:
# Bakeri Eksempel > Håndverksbakeri i Bergen med brød, bakverk og kaker på bestilling. ## Viktige sider - [Utvalg](https://example.com/assortiment): brød, bakverk og kaker - [Bestill](https://example.com/bestellen): bestill og hent kake - [Kontakt](https://example.com/contact): adresse og åpningstider
Greit å vite:
- llms.txt er ingen offisiell standard, men et forslag. Det er ingen garanti for at KI-tjenester leser filen. Google har sagt at Google Søk ikke bruker den.
- llms.txt blokkerer ingenting. Vil du holde roboter ute, bruk robots.txt.
- Filen kommer ikke av seg selv: du lager den selv, eller lar en plugin lage den.
4. Lag llms.txt i WordPress
De kjente SEO-pluginene kan lage og vedlikeholde llms.txt for deg:
- Yoast SEO: gå til Yoast SEO, Innstillinger, Nettstedsfunksjoner og slå på llms.txt under KI-funksjonene. Du kan la Yoast velge sidene eller velge dem selv.
- Rank Math: slå på modulen LLMS Txt i Dashboard i Rank Math. Innstillingene finner du deretter under Generelle innstillinger.
Menynavnene varierer mellom versjoner. Ser du ikke valget, oppdater pluginen. Deretter ser du filen på https://dittdomene.no/llms.txt.
Uten WordPress lager du filen selv: en tekstfil llms.txt i mappen public_html, akkurat som robots.txt.
Utfyllende forklaring med skjermbilder: Sitemap og robots.txt i WordPress og på ditt eget nettsted og Sitemap og robots.txt i AI Builder i veiledningen Bli funnet på nett.
Vil du lære mer? Ta det gratis kurset Bli funnet på nett, leksjon 3.3 robots.txt: hva du bør og ikke bør blokkere.