Sitemap og robots.txt i WordPress og på ditt eget nettsted

En sitemap er en liste over adressene du vil ha med i søkemotorene. En robots.txt forteller søkemotorene hvilke adresser de ikke skal besøke, og hvor sitemapen din ligger. Slik sjekker du dem i WordPress og på et nettsted du lager selv.

WordPress

Siden versjon 5.5 lager WordPress selv en sitemap og en robots.txt:

• Sitemapen ligger på https://dittdomene.no/wp-sitemap.xml.
• robots.txt er virtuell: Det finnes ingen fil i webmappen din, men WordPress viser den på https://dittdomene.no/robots.txt, med en henvisning til sitemapen.
• Bruker du en SEO-utvidelse, som Yoast SEO eller Rank Math? Da lager den ofte sin egen sitemap, for eksempel sitemap_index.xml. Adressen finner du i innstillingene til utvidelsen. Det er den adressen du sender inn til Google og Bing.

En standard robots.txt fra WordPress ser omtrent slik ut:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://dittdomene.no/wp-sitemap.xml

Stenger WordPress ute søkemotorene?

1. Logg inn i WordPress og gå til Innstillinger og deretter Lesing.
2. Se etter avkrysningsboksen Be søkemotorer om ikke å indeksere dette nettstedet under synlighet for søkemotorer.
3. Den boksen skal være av. Klikk på Lagre endringer.

Er boksen krysset av, ber WordPress søkemotorene hoppe over hele nettstedet ditt. Den blir ofte slått på mens nettstedet bygges, og så glemt etterpå.

Mer om synlighet i WordPress leser du i Synlighet: det grunnleggende.

Din egen robots.txt

Legger du selv en fil robots.txt i webmappen din, går den foran den virtuelle robots.txt fra WordPress. Med et webhotell fra WebOké er webmappen public_html for domenet ditt. Du legger filen der med File Manager i DirectAdmin (se Åpne File Manager: mappene i pakken din) eller med FTP.

En enkel robots.txt som tillater alt og peker til sitemapen din:

User-agent: *
Allow: /
Sitemap: https://dittdomene.no/sitemap.xml

Et nettsted du lager selv

Lager du nettstedet selv, eller med et annet program? Sjekk da om programmet lager en sitemap. Hvis ikke, klarer du deg uten: Et lite nettsted med gode lenker mellom sidene blir også funnet. En sitemap hjelper likevel. Legg den i webmappen din og nevn den i robots.txt, som vist ovenfor.

Kontroller

• Åpne https://dittdomene.no/robots.txt. Står det Disallow: / under User-agent: *? Da får ingen søkemotor besøke nettstedet ditt. Fjern den linjen når nettstedet er ferdig.
• Står det en linje Sitemap:? Åpne den adressen i nettleseren. Du skal se en liste med adresser fra nettstedet ditt, med https og ditt eget domene.

Tips: robots.txt holder ikke en side ute av Google. En side som ikke får besøkes, kan likevel dukke opp i søkeresultatene hvis andre nettsteder lenker til den. Vil du virkelig holde en side ute av Google, bruker du noindex. Forskjellen leser du om i leksjonen robots.txt: hva du blokkerer og ikke blokkerer i kurset Bli funnet på nett.