Hva er robots.txt og når bør bedrifter bry seg om denne filen?

Hva er robots.txt og når bør bedrifter bry seg om denne filen?

Du har sitemap, har sendt det til Google, og nettstedet ditt begynner å bli indeksert. Men en dag oppdager du at administrasjonssiden (admin), intern betalingsside, eller staging-siden til nettstedet ditt også vises på Google. Kunder som søker på firmanavnet ditt – ser til og med en uferdig testside.

Eller omvendt: du legger ut et nytt blogginnlegg, venter i to uker, og det vises fortsatt ikke på Google. Når du spør teknisk personell, sier de: "robots.txt-filen blokkerer Google fra å krype hele nettstedet."

Begge situasjonene involverer en liten fil som få nettstedsadministratorer legger merke til: robots.txt.

Denne artikkelen vil forklare hva robots.txt er, hvordan den fungerer, når du trenger å redigere den, og vanlige feil bedrifter bør unngå – alt forklart på et enkelt språk, med virkelige eksempler.

Hva er robots.txt? En forklaring for nettstedsadministratorer

Hvis sitemap er bygningens oversiktskart – som forteller Google hvilke rom som finnes, så er robots.txt "Begrenset område"-skiltet – som forteller Google hvilke rom Google ikke får gå inn i.

Teknisk sett: robots.txt er en liten tekstfil som ligger i nettstedets rotkatalog (f.eks. https://example.com/robots.txt). Denne filen inneholder regler som forteller søkemotor-bots – som Googlebot –:

• Hvilke sider som har lov til å bli krypet (skannet)
• Hvilke sider som ikke har lov til å bli krypet
• Hvor sitemapet ligger

Du kan se robots.txt-filen for ethvert nettsted ved å skrive: domene.no/robots.txt i nettleseren.

💡 Viktig: robots.txt er bare en høflig forespørsel, ikke et absolutt forbud. Pålitelige bots som Googlebot vil følge den, men onde bots (spam, scrapere) kan ignorere den. Hvis du trenger ekte sikkerhet, bruk passord eller en brannmur – ikke stol på robots.txt.

Hvordan ser en robots.txt-fil ut?

Du trenger ikke å skrive denne filen fra bunnen av. Men for å forstå når du ser på den, her er en enkel robots.txt-fil:

User-agent: *
Disallow: /admin/
Disallow: /thanh-toan/
Disallow: /staging/
Allow: /

Sitemap: https://example.com/sitemap.xml

Forklaring av hver linje:

Linje	Betydning
User-agent: *	Gjelder for alle bots (Google, Bing, osv.)
Disallow: /admin/	Tillat ikke bots å gå inn i mappen /admin/
Disallow: /thanh-toan/	Tillat ikke bots å gå inn på betalingssiden
Disallow: /staging/	Tillat ikke bots å gå inn på staging-versjonen
Allow: /	Tillat bots å krype resten av nettstedet
Sitemap: https://...	Fortell boten hvor sitemapet ligger

Her er et mer komplekst eksempel – egnet for et bedriftsnettsted med en blogg, en tjenesteside og et administrasjonsområde:

# Tillat alle bots å krype offentlig innhold
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_

# Tillat Googlebot å krype CSS og JS (nødvendig for å gjengi siden)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/

Sitemap: https://example.com/sitemap.xml

📝 Merk for utviklere: Tegnet * i banen er et wildcard – /*?utm_ betyr å blokkere alle URL-er som inneholder parameteret ?utm_. Tegnet $ på slutten av banen brukes til å matche nøyaktig slutten av URL-en. For eksempel: Disallow: /*.pdf$ vil blokkere alle PDF-filer.

---

Hvordan fungerer robots.txt-filen i SEO-prosessen?

For å forstå plasseringen av robots.txt, la oss se på prosessen Google bruker for å legge til nettsteder i søkeresultatene:

Crawl → Index → Rank
(Kryp)   (Indekser)   (Rangering)

Robots.txt fungerer i det første trinnet – Crawl.

Før Googlebot begynner å skanne noen side på nettstedet ditt, sjekker den robots.txt først. Hvis en URL er listet i Disallow, vil Googlebot ignorere den siden – den vil ikke skanne den, den vil ikke lese innholdet.

Googlebot ønsker å krype https://example.com/admin/settings
→ Sjekker robots.txt
→ Ser Disallow: /admin/
→ Ignorerer, kryper ikke

Googlebot ønsker å krype https://example.com/dich-vu/
→ Sjekker robots.txt
→ Ikke blokkert
→ Kryper normalt → Indekseres → Kan dukke opp i søkeresultatene

Robots.txt og sitemap: et komplementært par

Fil	Rolle
Sitemap	"Dette er listen over sider jeg ønsker Google skal vite om"
Robots.txt	"Dette er sidene jeg ikke ønsker Google skal skanne"

Disse to filene er ikke i konflikt – de jobber sammen. Sitemap viser veien, robots.txt setter opp barrierer. Ved å kombinere dem riktig, kan du kontrollere hva Google ser og hva den ignorerer på nettstedet ditt.

Hva brukes robots.txt til? 4 vanlige tilfeller

1. Skjule administrasjons- og interne sider fra Google

Admin-sider, backend CMS-sider, staging-sider, test-sider – ingen av disse bør vises på Google. Robots.txt hjelper deg med å fortelle Google: "Ikke gå hit."

Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/

2. Unngå sløsing med "crawl budget"

Google kryper ikke uendelig. Hvert nettsted har et "crawl budget" – antall sider Googlebot vil skanne under hvert besøk. Hvis nettstedet har mange unødvendige sider (interne søkesider, filter-sider, pagineringssider), kan Googlebot bruke tid på å skanne disse i stedet for viktige tjeneste- eller bloggsider.

Disallow: /search?
Disallow: /tag/
Disallow: /page/

💡 Crawl budget er hovedsakelig viktig for store nettsteder (tusener av sider). Små bedriftsnettsteder trenger vanligvis ikke å bekymre seg for mye, men å holde robots.txt ryddig er fortsatt en god vane.

3. Blokkere duplisert innhold

Hvis nettstedet har flere URL-er som fører til samme innhold (f.eks. URL-er med sporingsparametere ?utm_source=facebook, eller utskriftsversjoner ?print=true), kan du blokkere disse dupliserte URL-ene:

Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=

4. Vise veien til sitemap

Robots.txt er det første stedet Googlebot sjekker når det kommer til et nettsted. Å plassere sitemap-banen her hjelper Google med å finne sitemapet raskere – selv om du ikke har sendt det via Search Console ennå.

Sitemap: https://example.com/sitemap.xml

Når bør bedrifter bry seg om robots.txt?

Du trenger ikke alltid å redigere robots.txt. Men det er tider da det er obligatorisk å sjekke denne filen:

Når nettstedet lanseres (go-live)

Dette er den viktigste tiden. Mange nettsteder blir fullstendig blokkert fra kryping fordi utviklerne glemmer å fjerne linjen Disallow: / – linjen de plasserte under staging for å forhindre at Google indekserer en uferdig versjon.

Sjekk ved go-live:

Kategori	Hvordan sjekke
Robots.txt-filen eksisterer	Åpne https://domene.no/robots.txt i nettleseren
Ikke blokkert hele nettstedet	Sørg for at det IKKE er en linje Disallow: /
Sitemap deklarert	Sørg for at det ER en linje Sitemap: https://domene.no/sitemap.xml
Viktige sider er ikke blokkert	Sjekk at tjeneste-, kontakt- og bloggsider ikke er oppført i Disallow

✅ Når nettstedet ikke blir indeksert av Google etter flere uker

Hvis du har et sitemap, har sendt det via Search Console, men Google indekserer det fortsatt ikke – robots.txt er den første mistenkte du bør sjekke.

Når du legger til områder som skal skjules (medlemsider, interne sider)

Hvis nettstedet ditt legger til kontoadministrasjonssider, medlemsområder eller interne sider – oppdater robots.txt for å blokkere disse områdene.

Når du bytter nettstedsplattform eller redesigner

Hver plattform (WordPress, Webflow, egendefinert kode) genererer forskjellige URL-strukturer. Ved migrering kan en gammel robots.txt feilaktig blokkere nye sider eller unnlate å blokkere sider som trenger å skjules.

Når Search Console rapporterer "Blocked by robots.txt" feil

Google Search Console har en Indexing-rapport som viser hvilke sider som er blokkert av robots.txt. Hvis du ser at viktige sider er blokkert – er det på tide å endre filen umiddelbart.

5 vanlige robots.txt-feil og hvordan du fikser dem

Feil 1: Blokkerer hele nettstedet – den mest alvorlige feilen

Symptomer: Ingen sider blir indeksert av Google. Search Console rapporterer mange sider som "Blocked by robots.txt".

Årsak: Robots.txt-filen inneholder:

User-agent: 
Disallow: /

Disse to linjene betyr: "Forby alle bots å gå inn på hvilken som helst side." Dette skjer vanligvis når utviklere plasserer denne regelen under staging og glemmer å fjerne den ved go-live.

Hvordan fikse: Endre til:

User-agent: *
Disallow:

Sitemap: https://domene.no/sitemap.xml

Disallow: (uten noe etter kolon) = tillat kryping av alt.

⚠️ Dette er feil nummer 1 vi ser på nye bedriftsnettsteder. Etter fiksing kan det ta noen dager til uker før Google kryper på nytt. Send inn sitemapet ditt på nytt via Search Console for å fremskynde prosessen.

---

Feil 2: Blokkerer CSS og JavaScript

Symptomer: Nettstedet vises normalt i nettleseren, men når du bruker "URL Inspection"-verktøyet i Search Console, ser Google at siden har et ødelagt layout eller mangler innhold.

Årsak: Robots.txt blokkerer mappene som inneholder CSS og JS:

Disallow: /wp-content/
Disallow: /wp-includes/

Google trenger å lese CSS og JS for å forstå hvordan siden ser ut (kalt "rendering"). Hvis det er blokkert, kan Google ikke gjengi siden → forstår ikke innholdet → påvirker rangeringen.

Hvordan fikse:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/

📝 Merk for utviklere: Siden 2014 har Google klart anbefalt: ikke blokker CSS, JS og bilder i robots.txt. Googlebot trenger disse ressursene for å gjengi siden riktig. Bruk "URL Inspection"-verktøyet i Search Console for å se hvordan Google gjengir siden din.

Feil 3: Blokkerer feilaktig viktige sider

Symptomer: Tjeneste-, produkt- eller bloggsider vises ikke på Google – selv om sitemapet inkluderer dem.

Årsak: Reglene i robots.txt er for brede. For eksempel:

Disallow: /dich-vu

Denne linjen blokkerer ikke bare /dich-vu/, men også /dich-vu-thiet-ke-web/, /dich-vu-seo/, og enhver URL som begynner med /dich-vu.

Hvordan fikse: Legg til en / på slutten av banen for å blokkere mappen nøyaktig:

Disallow: /dich-vu-noi-bo/

Eller bruk Allow for å beskytte nødvendige sider:

Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/

📝 Merk for utviklere: Rekkefølgen av Allow og Disallow har betydning. Googlebot bruker den mest spesifikke banen. Hvis de er like lange, har Allow forrang over Disallow. Test alltid med Robots Testing Tool i Search Console før du deployer.

Feil 4: Ingen robots.txt-fil

Symptomer: Å skrive domene.no/robots.txt gir en 404-feil.

Årsak: Nettstedet er manuelt laget, og utvikleren har ikke opprettet denne filen. Eller filen ble feilaktig slettet under deploy.

Konsekvens: Ikke så alvorlig som feil 1 – hvis det ikke finnes en robots.txt, kryper Google alt som standard. Men dette betyr:

• Google vil krype administrasjonssider, test-sider og interne sider
• Du har ingen måte å peke til sitemapet ditt via robots.txt
• Grunnleggende kontroll mangler

Hvordan fikse: Opprett en robots.txt-fil i rotkatalogen. Minimumsinnhold:

User-agent: *
Disallow: /admin/
Disallow: /search?

Sitemap: https://domene.no/sitemap.xml

---

Feil 5: Bruke robots.txt til å skjule sider fra Google (misforstått formål)

Symptomer: Du blokkerer en side med Disallow, men siden dukker likevel opp på Google – selv om den ikke har innholdssnippet.

Årsak: Robots.txt blokkerer kryping, ikke indeksering. Hvis siden allerede er indeksert, eller har en backlink fra et annet nettsted, kan Google beholde URL-en i søkeresultatene – den viser bare ikke innholdet.

Korrekt måte å fikse på:

Mål	Hva du skal bruke
Ønsker ikke at Google skal krype (skanne)	Disallow i robots.txt
Ønsker ikke at Google skal indeksere (vise)	tag i HTML
Ønsker ikke begge deler	Bruk noindex i HTML (og ikke blokker i robots.txt)

⚠️ Dette er det mest misforståtte punktet: Hvis du både blokkerer kryping (robots.txt) og setter noindex (HTML), vil Google ikke se noindex-taggen fordi den ikke får krype siden – og siden kan likevel bli indeksert. Løsning: bruk noindex i HTML og fjern Disallow-regelen for den siden i robots.txt.

Mal for robots.txt for bedriftsnettsteder

Her er en mal for robots.txt som passer for de fleste SMB-bedriftsnettsteder:

# =============================================
# Robots.txt for bedriftsnettsted
# Oppdatert: 2026-04-20
# =============================================

# Gjelder for alle bots
User-agent: *

# Blokker administrasjons- og interne områder
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/

# Blokker interne søkesider (unngå sløsing med crawl budget)
Disallow: /search?
Disallow: /*?s=

# Blokker URL-er med sporingsparametere (unngå duplisert innhold)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=

# Blokker handlekurv / betalingssider (hvis aktuelt)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

# Tillat CSS, JS, bilder (Google trenger dette for å gjengi siden)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/

# Pek til sitemapet
Sitemap: https://domene.no/sitemap.xml

📝 Merk for utviklere: robots.txt-filen må ligge i rot-domenet – https://example.com/robots.txt. Ikke /blog/robots.txt eller en annen underkatalog. Hver subdomene trenger sin egen robots.txt (f.eks. blog.example.com/robots.txt er atskilt fra example.com/robots.txt).

Slik sjekker du nettstedets robots.txt

Metode 1: Direkte sjekk i nettleseren

Skriv inn https://ditt-domene.no/robots.txt i adressefeltet. Du vil se filinnholdet i tekstformat. Hvis du får en 404-feil – nettstedet har ingen robots.txt-fil ennå.

Metode 2: Bruk Google Search Console

1. Logg inn på Google Search Console
2. Gå til Innstillinger → Kryping → robots.txt
3. Se robots.txt-filen Google leser
4. Sjekk om en spesifikk URL er blokkert

Metode 3: Sjekk i Indexing-rapporten

I Search Console → Sider (eller Indeksering) → Finn delen "Blocked by robots.txt". Hvis det er viktige sider på denne listen, må du fikse robots.txt umiddelbart.

💡 Det anbefales å sjekke robots.txt minst en gang i kvartalet eller hver gang nettstedet gjennomgår store endringer (legge til sider, endre struktur, migrere plattform).

Oppsummeringstabell: Hva bør og bør ikke blokkeres i robots.txt

✅ BØR blokkeres	❌ BØR IKKE blokkeres
Administrasjonssider (/admin/, /wp-admin/)	Forside, tjenestesider, kontaktsider
Staging / test-sider	Blogginnlegg, artikler
Interne søkesider (/search?)	CSS- og JavaScript-filer
URL-er med sporingsparametere (?utm_, ?fbclid=)	Bilder (Google Bilder genererer også trafikk)
Handlekurv, betalingssider, personlige kontoer	Sitemap
Duplisert innholdssider (filtrering, sortering, paginering)	FAQ-sider, casestudier

---

Ofte stilte spørsmål om robots.txt

Hva er forskjellen mellom robots.txt og sitemap?

Sitemap sier: "Dette er sidene jeg vil at Google skal vite om." Robots.txt sier: "Dette er sidene jeg ikke vil at Google skal skanne." De to filene utfyller hverandre – sitemap viser vei inn, robots.txt setter opp barrierer.

Hvis jeg ikke har en robots.txt, vil Google fortsatt kunne krype nettstedet mitt?

Ja. Uten en robots.txt, kryper Google alle sider som standard – inkludert de du ikke vil ha. Derfor er det viktig å ha denne filen.

Jeg bruker WordPress, hvor er robots.txt-filen?

WordPress oppretter en virtuell robots.txt-fil (virtual). Hvis du bruker en SEO-plugin som Yoast eller Rank Math, kan du redigere robots.txt direkte i plugin-en uten å måtte få tilgang til serveren.

Påvirker robots.txt nettstedets hastighet?

Nei. Denne filen er bare noen få KB. Den påvirker ikke sidens lastetid.

Jeg har blokkert en side med robots.txt, hvorfor vises den fortsatt på Google?

Fordi robots.txt bare blokkerer kryping, ikke indeksering. Hvis du vil at en side skal forsvinne helt fra Google, bruk taggen i HTML – og ikke blokker siden i robots.txt (slik at Google kan lese noindex-taggen).

Etter at jeg har endret robots.txt, hvor lang tid tar det før Google oppdaterer?

Google sjekker vanligvis robots.txt igjen innen 24-48 timer. Du kan gå til Search Console → Innstillinger → Kryping for å be Google om å sjekke på nytt tidligere.

Konklusjon

Robots.txt er en liten fil – vanligvis bare noen få linjer – men den påvirker direkte om Google ser nettstedet ditt eller ikke.

Ting å huske på:

1. Robots.txt er "Begrenset område"-skiltet: forteller Google hvilke sider som ikke skal skannes
2. Sjekk umiddelbart når nettstedet lanseres: feilen med å blokkere hele nettstedet er en vanlig og alvorlig feil
3. Ikke bruk robots.txt til å skjule sider fra Google: den blokkerer kryping, ikke indeksering
4. Tillat alltid CSS og JS: Google trenger å gjengi siden for å forstå innholdet
5. Kombiner med sitemap og Search Console: for å fullstendig kontrollere hvordan Google kryper og indekserer nettstedet

Sjekk nettstedets plattform

Robots.txt er bare en av mange tekniske faktorer som påvirker SEO. Hvis du lurer på: "Er nettstedet mitt riktig konfigurert?" – svaret ligger i plattformen du bruker.

GTG CRM hjelper deg med å få et nettsted med standard robots.txt, automatisk sitemap, og en teknisk struktur klar for Google – du trenger ikke å bekymre deg for å justere hver fil, hver kodelinje.