Modul 2 · 2.4
Rapporten Page indexing og URL inspection
Modul 2: Search Console, Bing og IndexNow · Lesetid: 13 minutter
Læringsmål: Etter denne leksjonen kan du se i rapporten Page indexing hvilke sider som ikke er i indeksen og hvorfor, og undersøke én side med URL inspection. Du vet også hva Request indexing, Removals og Manual actions gjør og ikke gjør.
Nøkkelbegreper: rapporten Page indexing (sideindeksering), indeksert, ikke indeksert, årsaker, Validate fix, URL inspection, Test live URL, Request indexing (kvote), brukerangitt og Google-valgt kanonisk URL, View tested page, Removals (midlertidig), Manual actions, Security issues
Rapporten Page indexing
I leksjon 1.3 leste du at ikke alle sider kommer inn i indeksen. Rapporten Page indexing (i menyen under Indexing, Pages) viser hvordan det ser ut for nettstedet ditt. Øverst står to tall: indeksert og ikke indeksert. Under dem står tabellen "Why pages aren't indexed" (hvorfor sider ikke indekseres), med antall sider for hver årsak.
Først det viktigste: målet er ikke at alt skal bli indeksert. Google skriver selv at du skal sørge for at den kanoniske versjonen av hver viktige side er i indeksen, og at du ikke skal forvente hundre prosent. Et nettsted med tagger, filtre, søkesider og varianter har alltid sider som med rette ikke er med. Spørsmålet er derfor hele tiden: Er det en side her som faktisk hører hjemme i indeksen?
Årsakene forklart enkelt
| Årsak i rapporten | Hva som skjer | Alvorlig? |
|---|---|---|
| Server error (5xx) | Serveren ga en feil da Google kom | Ja, hvis det vedvarer. Sjekk med webhotellet ditt |
| Redirect error | En videresending gikk i ring, var for lang eller var ødelagt | Ja: rett opp videresendingen (leksjon 4.1) |
| Blocked by robots.txt | Robots.txt forbyr Google å lese siden | Bare hvis siden skal være med (leksjon 3.3) |
| Excluded by 'noindex' tag | Siden ber selv om ikke å bli indeksert | Bare hvis det er ved en feil |
| Soft 404 | Siden gir status 200, men ser ut som "ikke funnet" eller er nesten tom | Ja, hvis det er en ekte side: gjør den nyttig eller gi en ekte 404 |
| Not found (404) | Siden finnes ikke (lenger) | Som regel ikke. Men hvis lenker peker dit: videresend |
| Blocked due to unauthorized request (401) / access forbidden (403) | Siden krever passord eller avviser Google | Bare hvis siden skal være offentlig |
| Page with redirect | Adressen videresender til en annen adresse | Nei, det er normalt; målet blir indeksert |
| Alternate page with proper canonical tag | Denne siden peker med en canonical til en annen | Nei, slik skal det være (leksjon 3.5) |
| Duplicate without user-selected canonical | Google fant et duplikat og valgte selv | Sjekk om Google valgte riktig |
| Duplicate, Google chose different canonical than user | Du pekte ut side A, Google valgte B | Finn ut hvorfor (leksjon 3.5) |
| Discovered - currently not indexed | Google kjenner adressen, men har ikke gjennomsøkt siden ennå | Normalt for et nytt nettsted; tålmodighet og interne lenker |
| Crawled - currently not indexed | Google leste siden, men tok den (ennå) ikke med | Sjekk om siden virkelig tilfører noe (leksjon 7.3) |
I tillegg finnes to advarsler: Indexed, though blocked by robots.txt (Google tok med adressen uten å lese innholdet, ofte fordi lenker peker dit) og Page indexed without content.
Klikk på en årsak for å se eksempeladresser. Har du rettet noe, kan du velge Validate fix. Google sjekker da de kjente adressene med det problemet på nytt; ifølge Google tar det som regel opptil omtrent to uker. Ikke klikk gang på gang: vent til valideringen er godkjent eller mislyktes. Å rette opp virker for øvrig også uten validering; Google ser det ved neste gjennomsøking.
URL inspection: én side under lupen
Øverst i Search Console er det et søkefelt. Lim inn en fullstendig adresse fra nettstedet ditt der, så får du URL inspection. Først ser du hva Google har i indeksen: "URL is on Google" eller "URL is not on Google", og under Page indexing blant annet:
- når Google sist gjennomsøkte siden, og Crawled as (mobil- eller skrivebordscrawleren);
- om robots.txt tillater gjennomsøking, og Indexing allowed? (finnes det en noindex?);
- Page fetch: lyktes hentingen?
- User-declared canonical (det du satte i canonical-taggen) og Google-selected canonical (det Google valgte).
Dette er statusen i indeksen, ikke en direkte måling. Har du nettopp fjernet en noindex, står den fortsatt her.
Test live URL
Med Test live URL henter Google siden nå. Slik sjekker du en retting med en gang. Med View tested page ser du HTML-en etter at JavaScript er kjørt, svarets HTTP-hoder, meldinger fra konsollen og, ved en vellykket test, et skjermbilde. Her ser du om tittelen, canonical-taggen eller de strukturerte dataene virkelig er der når de legges inn med JavaScript.
Merk: En vellykket live-test er ikke noe løfte. Testen ser ikke på kvalitet, duplisert innhold eller valg av canonical.
Request indexing
Etter en live-test kan du velge Request indexing. Google setter da siden i køen for gjennomsøking. Tre ting du bør vite:
- Det finnes en daglig kvote per property. For mange sider samtidig er et nettstedskart veien å gå (leksjon 2.2).
- Å be om det flere ganger for samme side gjør det ikke raskere.
- Det er ingen garanti: Gjennomsøking kan ta dager til uker, og deretter avgjør Google om siden tas med.
Bruk det derfor for en ny viktig side eller etter en retting, ikke som daglig rutine.
Du kan bare inspisere adresser fra en property der du er eier eller bruker. Vil du se på andres sider, bruker du offentlige verktøy som Rich Results Test (modul 5).
Tre andre rapporter du bør kjenne
Removals. Her fjerner du en side midlertidig (omtrent seks måneder) fra søkeresultatene, for eksempel hvis personopplysninger ved en feil lå på nett. Siden blir værende i indeksen. Vil du ha den bort for godt, sørg for at den gir 404 eller 410, ligger bak et passord eller har en noindex. Robots.txt egner seg ikke til dette: En blokkert side kan Google ikke lese, og dermed ser den heller ikke noindex.
Manual actions. En manuell handling betyr at en ansatt hos Google har fastslått at sider bryter retningslinjene mot spam (leksjon 8.2), for eksempel med skjult tekst eller unaturlige lenker. Slike sider kan rangeres lavere eller forsvinne fra resultatene. Står det ingen melding her, er alt i orden. Står det noe: rett det opp på alle sider og send deretter inn en forespørsel om ny vurdering.
Security issues. Her varsler Google hvis nettstedet ditt ser ut til å være hacket eller sprer skadelig programvare. Besøkende kan da se en advarsel. Dette haster: se WordPress-kurset og Safe online for hvordan du retter det opp.
I praksis: etter et nytt nettsted
Lotte publiserte det nye nettstedet sitt med AI Builder og glemte at det fortsatt sto på "ikke indekser". Etter en uke ser hun i Page indexing at nesten alt står under "Blocked by robots.txt". Hun slår om bryteren og publiserer på nytt, inspiserer forsiden, ser i live-testen at gjennomsøking og indeksering nå er tillatt, og ber om indeksering for forsiden og siden Bruidswerk (brudebinderi). For resten venter hun på nettstedskartet. I WordPress ligger den samme fellen i avkrysningsboksen "Be søkemotorer om å ikke indeksere dette nettstedet", og i andre nettstedsbyggere under et lignende navn.
Oppsummering
- Page indexing viser indekserte og ikke-indekserte sider med årsak; ikke alt trenger å være med.
- Les hver årsak som et spørsmål: Hører denne siden hjemme i indeksen? Hvis ja, rett opp og valider.
- URL inspection viser statusen i indeksen; Test live URL viser siden slik den er nå, også etter JavaScript.
- Request indexing har en kvote, hjelper ikke ved gjentakelse og garanterer ingenting.
- Removals er midlertidig; Manual actions og Security issues skal være tomme.
Quiz
Oppgave
Oppgave D2.4: Inspiser én side. Velg en viktig side på nettstedet ditt (for eksempel siden med tjenestene dine) og inspiser den i Search Console. Noter om den er indeksert, når den sist ble gjennomsøkt, hvilken canonical du anga og hvilken Google valgte. Kjør deretter en live-test, åpne den testede siden og sjekk om tittelen står i HTML-en. Se til slutt i Page indexing hvilken årsak som forekommer oftest, og om det er sider der som faktisk hører hjemme i indeksen.
Oppgave D2.4: Inspiser én side
Har du ikke egen nettside eller bedrift? Løs oppgaven på papir eller hopp over den. For sertifikatet teller bare eksamen.
Eksempel: /bruidswerk/ er indeksert, begge canonical-adressene er like. Vanligste årsak: Page with redirect (14), de gamle http-adressene. De hører ikke hjemme i indeksen.
Avkrysningene og notatene dine blir kun i denne nettleseren; vi sender dem ikke noe sted. Er du logget inn, lagrer vi kun i Mine kurs at du har gjort oppgaven.
Les mer
- Google, rapporten Page indexing (nederlandsk side): https://support.google.com/webmasters/answer/7440203?hl=nl
- Google, verktøyet URL inspection (nederlandsk side): https://support.google.com/webmasters/answer/9012289?hl=nl
- Google Search Central, be Google om å gjennomsøke URL-er på nytt: https://developers.google.com/search/docs/crawling-indexing/ask-google-to-recrawl
- Google, verktøyet Removals (nederlandsk side): https://support.google.com/webmasters/answer/9689846?hl=nl
- Google, rapporten Manual actions (nederlandsk side): https://support.google.com/webmasters/answer/9044175?hl=nl