Hold en side ute av Google: robots.txt eller noindex?
Vil du at en side ikke skal vises i Google, for eksempel en takkeside, en testside eller en gammel kampanje? Da tenker mange på filen robots.txt. Men robots.txt holder ikke en side ute av Google. Det gjør noindex derimot. I denne artikkelen leser du forskjellen, hvordan du bruker begge og hva du gjør med en side du har slettet. Vi bruker example.com som eksempel.
Forskjellen kort fortalt
| robots.txt | noindex | |
|---|---|---|
| Hva det sier | "Ikke hent denne siden." | "Ikke ta med denne siden i søkeresultatene." |
| Holder det en side ute av Google? | Nei. Linker andre til siden, kan adressen likevel dukke opp, uten beskrivelse. | Ja, så snart Google har besøkt siden på nytt. |
| Hvor står det? | Én fil på https://example.com/robots.txt | I selve siden, eller som en topptekst serveren sender med |
| Hva bruker du det til? | Styre crawletrafikken, for eksempel hoppe over søkeresultatsider på din egen side | Sider som skal være tilgjengelige, men ikke hører hjemme i Google |
Ingen av delene er en sikring. Alle kan lese din robots.txt, og en side med noindex forblir gjennomgående tilgjengelig. Må noe virkelig sikres, legg det da bak et passord. Se Sikre en mappe med passord i DirectAdmin.
Bruke noindex
Legg denne linjen i <head> på siden:
<meta name="robots" content="noindex">
For filer uten HTML, som en pdf, kan serveren sende med samme instruksjon som topptekst: X-Robots-Tag: noindex. Effekten er den samme.
Som regel trenger du ikke skrive dette selv:
- AI Bouwer: åpne delen SEO, velg siden og slå av bryteren Denne siden synlig i Google under Mer for denne siden. Siden forblir tilgjengelig, men får en noindex. Publiser deretter på nytt.
- WordPress: et SEO-tillegg har en innstilling per side for å ikke indeksere siden. Avkrysningsboksen Anbefal at søkemotorer ikke indekserer dette nettstedet under Innstillinger, Lesing gjelder for hele nettstedet.
- Andre nettstedsbyggere: let etter en innstilling som "skjul for søkemotorer".
Opprette eller tilpasse robots.txt
På en hostingpakke ligger robots.txt i webmappen til domenet ditt, i DirectAdmin mappen public_html. Du oppretter eller redigerer filen via Filbehandling eller FTP, se Åpne filbehandling: mappene i pakken din. Et eksempel:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *gjelder for alle søkeroboter.Disallow:med en sti forbyr alt som begynner med den stien.Disallow: /forbyr hele nettstedet.- Oppretter du også en gruppe
User-agent: Googlebot, følger Google bare den gruppen og ignorerer gruppen*. Gjenta derfor alle regler som også gjelder for Google. - Ikke blokker mapper med stilark, skript eller bilder som siden din trenger.
- Ingen robots.txt er ikke noe problem: da er alt tillatt. Gir adressen en serverfeil, stopper Google midlertidig med å hente.
WordPress oppretter selv en robots.txt så lenge det ikke finnes en fil i webmappen. AI Bouwer legger selv til en robots.txt med en Sitemap:-linje ved publisering.
Google lagrer vanligvis din robots.txt i opptil 24 timer. I Search Console finner du under Innstillinger robots.txt-rapporten: hvilken versjon Google sist hentet, med feil og advarsler, og en knapp for å hente den på nytt.
En slettet side: 404 eller 410, ikke soft 404
Har du slettet en side, bør adressen gi statuskoden 404 (ikke funnet) eller 410 (borte). Ved neste besøk fjerner Google da adressen fra søkeresultatene. Har siden en etterfølger, send da den gamle adressen videre med en 301 til den nye siden, se Site Omleiden: videresende et domene eller en side.
En soft 404 er en side som sier at den ikke finnes, eller er nesten tom, men likevel gir koden 200 (funnet). Google gjenkjenner ofte dette og tar ikke med en slik side. I Search Console ser du det som årsak Soft 404. Også det å sende alle slettede sider videre til forsiden kan regnes som soft 404. La derfor en side som virkelig er borte, gi en ekte 404 eller 410.
Må en side raskt ut av resultatene, for eksempel fordi det ved et uhell lå personopplysninger på den? Bruk da Fjerninger i Search Console. Det virker midlertidig, i omtrent seks måneder. Sørg derfor også for at siden har en 404, 410, passord eller noindex.
Les mer
- Google: Blokkere indeksering med noindex (engelsk)
- Google: Introduksjon til robots.txt (engelsk)
- Google: robots.txt-rapport
- Blokkere filer via .htaccess
Bruker du WordPress? I leksjonen Synlighet: det grunnleggende i det gratis WordPress-kurset leser du mer om robots.txt og avkrysningsboksen for søkemotorer.