Holde en side unna Google: robots.txt eller noindex?
Vil du holde en side utenfor Google, for eksempel en takkeside, en testside eller en gammel kampanje? Da tenker mange på filen robots.txt. Men robots.txt holder ikke en side utenfor Google. Til det bruker du noindex. I denne artikkelen leser du om forskjellen, hvordan du bruker begge og hva du gjør med en side du har slettet. Vi bruker example.com som eksempel.
Forskjellen i korte trekk
| robots.txt | noindex | |
|---|---|---|
| Hva den sier | "Ikke hent denne siden." | "Ikke ta med denne siden i søkeresultatene." |
| Holder den en side utenfor Google? | Nei. Lenker andre til siden, kan adressen likevel vises, uten beskrivelse. | Ja, så snart Google har besøkt siden på nytt. |
| Hvor ligger den? | Én fil på https://example.com/robots.txt | I selve siden, eller som en header som serveren sender med |
| Hva bruker du den til? | Styre crawlingen, for eksempel hoppe over søkeresultatsider på ditt eget nettsted | Sider som skal være tilgjengelige, men ikke høre hjemme i Google |
Ingen av dem er en sikkerhetsløsning. Alle kan lese robots.txt-filen din, og en side med noindex er fortsatt tilgjengelig. Må noe virkelig skjermes, legger du det bak et passord. Se Beskytt en mappe med passord i DirectAdmin.
Bruke noindex
Legg denne linjen i <head> på siden:
<meta name="robots" content="noindex">
For filer uten HTML, som en pdf, kan serveren sende den samme instruksen som en header: X-Robots-Tag: noindex. Effekten er den samme.
Som regel trenger du ikke å skrive dette selv:
- AI Builder: åpne delen SEO, velg siden og slå av bryteren Denne siden kan finnes i Google under Mer for denne siden. Siden er fortsatt tilgjengelig, men får noindex. Publiser deretter på nytt.
- WordPress: en SEO-utvidelse har en innstilling per side for å hindre at siden indekseres. Avkrysningsboksen Be søkemotorer om ikke å indeksere dette nettstedet under Innstillinger, Lesing gjelder hele nettstedet.
- Andre nettstedbyggere: se etter en innstilling som "skjul for søkemotorer".
Lage eller endre robots.txt
På en hostingpakke ligger robots.txt i webmappen til domenet ditt, i DirectAdmin mappen public_html. Du lager eller redigerer filen via File Manager eller FTP, se Åpne File Manager: mappene i pakken din. Et eksempel:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *gjelder alle søkeroboter.Disallow:med en sti forbyr alt som begynner med den stien.Disallow: /forbyr hele nettstedet.- Lager du også en gruppe
User-agent: Googlebot, følger Google bare den gruppen og ignorerer gruppen*. Gjenta derfor alle reglene som også gjelder for Google der. - Ikke blokker mapper med stilark, skript eller bilder som siden din trenger.
- Ingen robots.txt er ikke noe problem: da er alt tillatt. Gir adressen en serverfeil, slutter Google midlertidig å hente.
WordPress lager selv en robots.txt så lenge det ikke ligger noen fil i webmappen. AI Builder legger selv inn en robots.txt med en Sitemap:-linje når du publiserer.
Utfyllende forklaring med skjermbilder: Sitemap og robots.txt i AI Builder og Sitemap og robots.txt i WordPress og ditt eget nettsted i veiledningen Bli funnet på nett.
Google tar som regel vare på robots.txt-filen din i opptil 24 timer. I Search Console finner du robots.txt-rapporten under Innstillinger: hvilken versjon Google sist hentet, med feil og advarsler, og en knapp for å be Google hente den på nytt.
En slettet side: 404 eller 410, ikke soft 404
Har du slettet en side, skal adressen gi statuskoden 404 (ikke funnet) eller 410 (borte). Ved neste besøk fjerner Google da adressen fra søkeresultatene. Har siden en etterfølger, videresender du den gamle adressen med en 301 til den nye siden, se Site Redirection: videresend et domene eller en side.
En soft 404 er en side som sier at den ikke finnes, eller som er nesten tom, men som likevel gir koden 200 (funnet). Google oppdager det ofte og tar ikke med en slik side. I Search Console ser du det med årsaken Soft 404. Også det å videresende alle slettede sider til forsiden kan regnes som soft 404. La derfor en side som virkelig er borte, gi en ekte 404 eller 410.
Må en side raskt ut av resultatene, for eksempel fordi den ved en feil inneholdt personopplysninger? Bruk da Fjerninger i Search Console. Det virker midlertidig, i omtrent seks måneder. Sørg derfor også for at siden har 404, 410, passord eller noindex.
Les mer
- Google: Blokker indeksering med noindex (engelsk)
- Google: Innføring i robots.txt (engelsk)
- Google: robots.txt-rapport
- Blokker filer via .htaccess
Bruker du WordPress? I leksjonen Synlighet: det grunnleggende i det gratis WordPress-kurset leser du mer om robots.txt og avkrysningsboksen Be søkemotorer om ikke å indeksere.
Vil du lære mer? Ta det gratis kurset Bli funnet på nett, leksjon 3.3 robots.txt: hva du blokkerer og ikke blokkerer.
Vil du lære mer? Ta det gratis kurset Bli funnet på nett, leksjon 3.3 robots.txt: hva du blokkerer og ikke blokkerer.