Indeksering: hva som kommer i indeksen og hva som ikke gjør det

Modul 1: Hvordan søkemotorer fungerer · Lesetid: 11 minutter

Læringsmål: Etter denne leksjonen kan du vurdere om en side kan komme i indeksen. Hvis ikke, ser du hvilken av de fire "låsene" som stopper den: statuskoden, robots.txt, noindex eller canonical.

Nøkkelbegreper: indeksering, Googles tekniske krav, noindex (meta robots og X-Robots-Tag), robots.txt er ikke noindex, kanonisering, duplisert innhold, soft 404, "Crawled - currently not indexed", "Discovered - currently not indexed", ingen garanti

Hva som skjer ved indeksering

Når crawleren har hentet en side (leksjon 1.2), leser søkemotoren den. Google analyserer teksten, tittelen, overskriftene, bilder og videoer, og finner ut hvilket språk siden er på. Google undersøker også om siden er en kopi av en annen side, og hvilken av kopiene som er den "ekte". Først etter det bestemmer Google om siden kommer i indeksen.

Google sier to ting om dette som du bør huske:

• Indeksering er ikke garantert. Selv om siden din oppfyller alle kravene, kan Google velge å ikke ta den med.
• Det er normalt at ikke alt er indeksert. Google skriver i hjelpen til indekseringsrapporten at du ikke skal forvente at hver adresse på nettstedet ditt er indeksert, og at det kan være helt i orden. Det er de viktige sidene dine som teller.

De tre tekniske kravene

Google nevner tre tekniske krav for at en side skal kunne komme i indeksen:

1. Googlebot blir ikke blokkert. Siden er tilgjengelig, og robots.txt forbyr ikke henting.
2. Siden fungerer. Serveren gir statuskode 200, ikke en feil.
3. Siden har indekserbart innhold. Tekst i en filtype Google kan lese, og ingen brudd på retningslinjene mot spam.

I praksis kommer det to valg fra eieren av nettstedet i tillegg: en noindex ("ikke ta med denne") og en canonical som peker til en annen adresse ("ikke denne, men den"). Til sammen blir det fire låser en side må gjennom.

Lås 1: statuskoden

Bare en side med status 200 kan komme i indeksen. En 301 eller 308 sender søkemotoren videre til den nye adressen, og da er det den nye adressen som vurderes. En 404 eller 410 fjerner en adresse som tidligere var indeksert.

Den vanskelige varianten er soft 404 fra leksjon 1.2: status 200, men innholdet er en feilmelding eller en nesten tom side. Google gjenkjenner det ofte og tar ikke med en slik side. Også en tom kategoriside i en nettbutikk ("ingen produkter funnet") kan bli sett på som soft 404.

Lås 2: robots.txt

Med robots.txt forbyr du en crawler å hente en side. Det er noe annet enn å forby at den blir tatt med i indeksen. Google er tydelig på dette: robots.txt er ikke en måte å holde en side utenfor Google på. Hvis andre nettsteder lenker til en blokkert side, kan adressen likevel vises i resultatene, bare uten beskrivelse. I Search Console heter det "Indexed, though blocked by robots.txt".

Robots.txt er ment for å styre crawltrafikken, for eksempel for å hindre at en crawler går gjennom tusenvis av søkeresultatsider på ditt eget nettsted. Leksjon 3.3 går nærmere inn på dette.

Lås 3: noindex

Vil du virkelig at en side ikke skal vises i søkeresultatene, bruker du noindex. Det kan gjøres på to måter, med samme effekt:

<!-- i <head> på siden -->
<meta name="robots" content="noindex">

X-Robots-Tag: noindex

Den andre er en HTTP-header som serveren sender med. Den fungerer også for filer som ikke er HTML, for eksempel en pdf. Verdien none betyr det samme som noindex, nofollow. Med <meta name="googlebot" content="noindex"> gjelder regelen bare for Google. Andre søkemotorer kan tolke en generell regel annerledes.

Her kommer fallgruven som er svært vanlig: noindex og en blokkering i robots.txt fungerer ikke sammen. Hvis robots.txt blokkerer siden, henter ikke Google den, og da ser Google aldri noindex. Siden kan da likevel komme i indeksen via lenker fra andre. Vil du ha en side ut av Google: la den bli hentet og sett noindex på den.

Hvor møter du noindex uten at det var meningen?

• I WordPress finnes det under Settings, Read en avkrysningsboks "Discourage search engines from indexing this site". Den setter noindex på hele nettstedet. Nyttig mens du bygger, katastrofalt hvis du glemmer å slå den av.
• I AI Builder kan du sette et nettsted eller en side til "ikke indekser". Da kommer det en noindex, nofollow i siden. Et gratis demonettsted blir heller aldri indeksert.
• En SEO-utvidelse eller et tema med feil innstilling per side eller per sidetype.

Andre nettstedbyggere har lignende brytere, ofte med et navn som "skjul for søkemotorer".

Lås 4: canonical

Mange nettsteder har samme side under flere adresser: med og uten www, med http og https, med en parameter bak, som ?utm_source=nieuwsbrief. Google velger én adresse fra en slik gruppe som den kanoniske versjonen, og viser bare den adressen i resultatene. De andre er duplikater.

Du kan hjelpe Google å velge med en videresending (et sterkt signal) eller med en canonical-henvisning i siden:

<link rel="canonical" href="https://www.example.com/bruidsboeketten">

En canonical er et signal, ikke en ordre: Google kan velge en annen adresse. Peker canonical-taggen din til en annen adresse, sier siden selv: "ikke ta med meg, men den andre". Det er bra når det stemmer, og et problem når det er en feil, for eksempel når hver side peker til forsiden. Leksjon 3.5 går nærmere inn på dette.

Duplisert innhold på ditt eget nettsted er ifølge Google ikke et brudd på retningslinjene mot spam og fører ikke til en manuell handling. Men det er lite effektivt: crawlere henter det samme flere ganger, og du bestemmer ikke selv hvilken adresse som vises i resultatene.

Meldingene i Search Console

I rapporten Pages i Search Console (leksjon 2.4) ser du en årsak for hver side som ikke er indeksert. Alle de fire låsene finnes igjen der:

De to siste er ikke tekniske feil. "Crawled - currently not indexed" er vanlig, og Google sier at det ikke alltid er et problem. Gjelder det en viktig side, bør du se på om den virkelig tilfører noe: en unik, nyttig side har større sjanse enn en tynn side som ligner ti andre.

Oppsummering

• Etter crawlingen bestemmer søkemotoren om en side kommer i indeksen. Det er aldri garantert, og ikke alt trenger å være med.
• Fire låser: status 200, ikke blokkert i robots.txt, ingen noindex, canonical mangler eller peker til seg selv.
• robots.txt forbyr henting, ikke indeksering. Bruk noindex for å holde noe utenfor resultatene, og ikke blokker den siden i robots.txt.
• En canonical er et sterkt signal, ikke en ordre. Duplisert innhold er ikke spam, men lite effektivt.
• "Crawled - currently not indexed" er ikke en teknisk feil. Se på verdien av siden.

Quiz

Oppgave

Oppgave A1.3: Kan denne siden komme i indeksen? Skriv inn adressen til en side (en side på ditt eget nettsted, eller en side du bevisst skjuler, som en takkeside). Velg deretter hva du forventer: "kan komme i indeksen" eller "kan ikke komme i indeksen", og hvis du velger "kan ikke", hvilken lås som stopper den (statuskode, robots.txt, noindex, canonical til en annen adresse). Programmet går gjennom de fire låsene slik som i denne leksjonen og setter resultatet sitt ved siden av ditt.

Les mer

• Google, Tekniske krav for Google Søk: https://developers.google.com/search/docs/essentials/technical
• Google, Blokker indeksering med noindex: https://developers.google.com/search/docs/crawling-indexing/block-indexing
• Google, Introduksjon til robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google, Slå sammen dupliserte nettadresser (kanonisering): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Google Search Console-hjelp, Rapporten om sideindeksering: https://support.google.com/webmasters/answer/7440203