Hva er robots.txt og når bør bedrifter bry seg om denne filen?

Hva er robots.txt og når bør bedrifter bry seg om denne filen?

Du har en sitemap, du har sendt den til Google, og nettstedet ditt begynner å bli indeksert. Men en dag oppdager du at administrasjonssiden (admin), interne betalingssider eller staging-sider på nettstedet ditt også vises på Google. Kundene søker etter firmanavnet ditt – og ser til og med en uferdig testside.

Eller omvendt: du legger ut et nytt blogginnlegg, venter to uker, og det vises fortsatt ikke på Google. Når du spør tekniske team, sier de: "Robots.txt-filen blokkerer Google fra å krype hele nettstedet."

Begge situasjonene involverer en liten fil som få nettstedsforvaltere legger merke til: robots.txt.

Denne artikkelen vil forklare hva robots.txt er, hvordan den fungerer, når du trenger å endre den, og vanlige feil som bedrifter bør unngå – alt på et enkelt språk, med praktiske eksempler.

Hva er robots.txt? En forklaring for nettstedsforvaltere

Hvis sitemap er bygningens oversiktskart – som forteller Google hvilke rom som finnes – så er robots.txt et skilt for "Begrenset område" – som forteller Google hvilke rom det ikke er lov til å gå inn i.

Teknisk sett: robots.txt er en liten tekstfil som ligger i nettstedets rotmappe (for eksempel: https://example.com/robots.txt). Denne filen inneholder regler som forteller søkemotor-bots – som Googlebot –:

• Hvilke sider kan krypes (skannes)
• Hvilke sider kan ikke krypes
• Hvor sitemap er plassert

Du kan se robots.txt for ethvert nettsted ved å skrive: domene.no/robots.txt i nettleseren din.

💡 Viktig: robots.txt er bare en høflig forespørsel, ikke et absolutt forbud. Pålitelige bots som Googlebot vil følge den, men dårlige bots (spam, scrapere) kan ignorere den. Hvis du trenger reell sikkerhet, bruk passord eller en brannmur – ikke stol på robots.txt.

Hvordan ser en robots.txt-fil ut?

Du trenger ikke å skrive denne filen fra bunnen av. Men for å forstå den når du ser på den, her er en enkel robots.txt-fil:

User-agent: *
Disallow: /admin/
Disallow: /betaling/
Disallow: /staging/
Allow: /

Sitemap: https://example.com/sitemap.xml

Forklaring av hver linje:

Linje	Betydning
User-agent: *	Gjelder for alle bots (Google, Bing, osv.)
Disallow: /admin/	Ikke la bots gå inn i mappen /admin/
Disallow: /betaling/	Ikke la bots gå inn på betalingssiden
Disallow: /staging/	Ikke la bots gå inn på staging-versjonen
Allow: /	Tillat bots å krype resten av nettstedet
Sitemap: https://...	Fortell boten hvor sitemap er plassert

Her er et mer komplekst eksempel – egnet for et bedriftsnettsted med blogg, tjenestesider og administrasjonsområde:

# Tillat alle bots å krype offentlig innhold
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /handlekurv/
Disallow: /kasse/
Disallow: /min-konto/
Disallow: /sok?
Disallow: /*?ref=
Disallow: /*?utm_

# Tillat Googlebot å krype CSS og JS (nødvendig for å gjengi siden)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/

Sitemap: https://example.com/sitemap.xml

📝 Merk for utviklere: Tegnet * i banen er et jokertegn – /*?utm_ betyr å blokkere enhver URL som inneholder parameteren ?utm_. Tegnet $ på slutten av banen brukes for å matche slutten av URL-en nøyaktig. For eksempel: Disallow: /*.pdf$ vil blokkere alle PDF-filer.

---

Hvordan robots.txt fungerer i SEO-prosessen?

For å forstå robots.txt sin plass, la oss se på prosessen Google bruker for å inkludere nettsteder i søkeresultatene:

Crawl → Index → Rank
(Krype)   (Indeksere)   (Rangere)

Robots.txt opererer i det første trinnet – Crawl.

Før Googlebot begynner å skanne en side på nettstedet ditt, vil den sjekke robots.txt først. Hvis en URL er oppført i Disallow, vil Googlebot ignorere den siden – den vil ikke skanne den, den vil ikke lese innholdet.

Googlebot vil krype https://example.com/admin/settings
→ Sjekker robots.txt
→ Ser Disallow: /admin/
→ Ignorerer, kryper ikke

Googlebot vil krype https://example.com/tjenester/
→ Sjekker robots.txt
→ Blokkert ikke
→ Kryper normalt → Indekserer → Kan vises i søkeresultater

Robots.txt og sitemap: en komplementær duo

Fil	Rolle
Sitemap	"Dette er listen over sider jeg vil at Google skal vite om"
Robots.txt	"Dette er sidene jeg ikke vil at Google skal krype"

Disse to filene motsier ikke hverandre – de jobber sammen. Sitemap viser veien, robots.txt setter barrierer. Når de kombineres riktig, kontrollerer du hva Google ser og ignorerer på nettstedet ditt.

Hva brukes robots.txt til? 4 vanlige tilfeller

1. Skjul administrasjons- og interne sider fra Google

Admin-sider, backend CMS-sider, staging-sider, test-sider – ingen av disse bør vises på Google. Robots.txt hjelper deg med å si til Google: "Ikke gå hit."

Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/

2. Unngå sløsing med "krypebudsjett"

Google kryper ikke uendelig. Hvert nettsted har et "krypebudsjett" (crawl budget) – antall sider Googlebot vil skanne under hvert besøk. Hvis nettstedet har mange uviktige sider (interne søkesider, filter-sider, pagineringssider), kan Googlebot bruke tid på å krype disse i stedet for viktige tjeneste- eller blogg-sider.

Disallow: /sok?
Disallow: /tag/
Disallow: /side/

💡 Krypebudsjett er primært viktig for store nettsteder (tusenvis av sider). Små bedriftsnettsteder trenger vanligvis ikke å bekymre seg for mye, men å holde robots.txt ryddig er fortsatt en god vane.

3. Blokker duplisert innhold

Hvis nettstedet har flere URL-er som fører til samme innhold (for eksempel URL-er med sporingsparametre ?utm_source=facebook, eller en utskriftsversjon ?print=true), kan du blokkere disse dupliserte URL-ene:

Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=

4. Pek til sitemap

Robots.txt er det første stedet Googlebot sjekker når den besøker et nettsted. Å plassere sitemap-adressen her hjelper Google med å finne sitemap raskere – selv om du ikke har sendt den inn via Search Console ennå.

Sitemap: https://example.com/sitemap.xml

Når bør bedrifter bry seg om robots.txt?

Du trenger ikke alltid å endre robots.txt. Men det er tider da det er obligatorisk å sjekke denne filen:

Når nettstedet lanseres (go-live)

Dette er den viktigste tiden. Mange nettsteder blir fullstendig blokkert fra kryping fordi utviklerne glemmer å fjerne linjen Disallow: / – linjen de la til under staging for å hindre at Google indekserte en uferdig versjon.

Sjekk ved lansering:

Kategori	Hvordan sjekke
Robots.txt-filen eksisterer	Åpne https://domene.no/robots.txt i nettleseren
Ikke blokkerer hele nettstedet	Sørg for at det IKKE er en linje Disallow: /
Sitemap er deklarert	Sørg for at det ER en linje Sitemap: https://domene.no/sitemap.xml
Viktige sider er ikke blokkert	Sjekk at tjeneste-, kontakt- og bloggsidene ikke er i Disallow

✅ Når nettstedet ikke blir indeksert av Google etter flere uker

Hvis du har en sitemap, har sendt den inn via Search Console, men Google indekserer den fortsatt ikke – robots.txt er den første mistenkte du bør sjekke.

Når du legger til områder som skal skjules (medlemsider, interne sider)

Hvis nettstedet legger til kontoadministrasjonssider, medlemsområder eller interne sider – oppdater robots.txt for å blokkere disse områdene.

Ved bytte av nettstedsplattform eller redesign

Hver plattform (WordPress, Webflow, egnet kode) skaper forskjellige URL-strukturer. Ved migrering kan en gammel robots.txt blokkere nye sider feilaktig eller unnlate å blokkere sider som trenger å blokkeres.

Når Search Console rapporterer feilen "Blocked by robots.txt"

Google Search Console har en Indexing-rapport som viser hvilke sider som er blokkert av robots.txt. Hvis du ser at viktige sider er blokkert – det er på tide å endre filen umiddelbart.

5 vanlige robots.txt-feil og hvordan fikse dem

Feil 1: Blokkerer hele nettstedet – den mest alvorlige feilen

Symptomer: Ingen sider blir indeksert av Google. Search Console rapporterer mange sider "Blocked by robots.txt".

Årsak: Robots.txt-filen inneholder:

User-agent: 
Disallow: /

Disse to linjene betyr: "Forby alle bots å gå inn på noen side." Dette skjer vanligvis når utviklere legger til denne regelen under staging og glemmer å fjerne den ved lansering.

Hvordan fikse: Endre til:

User-agent: *
Disallow:

Sitemap: https://domene.no/sitemap.xml

Disallow: (uten noe etter kolon) = tillat kryping av alt.

⚠️ Dette er feil nummer 1 vi ser på nye bedriftsnettsteder. Etter endring kan det ta flere dager til uker før Google kryper på nytt. Send inn sitemap på nytt via Search Console for å fremskynde prosessen.

---

Feil 2: Blokkerer CSS og JavaScript

Symptomer: Nettstedet vises normalt i nettleseren, men når du bruker "URL Inspection"-verktøyet i Search Console, ser Google at siden har et ødelagt layout eller mangler innhold.

Årsak: Robots.txt blokkerer mappene som inneholder CSS og JS:

Disallow: /wp-content/
Disallow: /wp-includes/

Google trenger å lese CSS og JS for å forstå hvordan siden ser ut (kalt "rendering"). Hvis de er blokkert, kan Google ikke gjengi siden → den forstår ikke innholdet → dette påvirker rangeringen.

Hvordan fikse:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/

📝 Merk for utviklere: Siden 2014 har Google eksplisitt anbefalt: ikke blokker CSS, JS og bilder i robots.txt. Googlebot trenger disse ressursene for å gjengi siden riktig. Bruk URL Inspection-verktøyet i Search Console for å sjekke hvordan Google gjengir siden din.

Feil 3: Blokkerer feilaktig viktige sider

Symptomer: Tjeneste-sider, produktsider eller blogginnlegg vises ikke på Google – selv om de er oppført i sitemap.

Årsak: Regelen i robots.txt er for generell. For eksempel:

Disallow: /tjenester

Denne linjen blokkerer ikke bare /tjenester/, men også /tjenester-webdesign/, /tjenester-seo/, og enhver URL som starter med /tjenester.

Hvordan fikse: Legg til en / på slutten av banen for å blokkere mappen nøyaktig:

Disallow: /interne-tjenester/

Eller bruk Allow for å beskytte siden du trenger:

Disallow: /interne-tjenester/
Allow: /tjenester/
Allow: /tjenester-webdesign/

📝 Merk for utviklere: Rekkefølgen på Allow og Disallow har betydning. Googlebot bruker den mest spesifikke banen (most specific path). Hvis banene er like lange, har Allow forrang fremfor Disallow. Test alltid med Robots Testing Tool i Search Console før du publiserer.

Feil 4: Ingen robots.txt-fil

Symptomer: Å skrive domene.no/robots.txt → gir 404-feil.

Årsak: Nettstedet er manuelt laget, og utvikleren har ikke opprettet denne filen. Eller filen ble slettet feilaktig under utplassering.

Konsekvens: Ikke så alvorlig som feil 1 – hvis det ikke finnes robots.txt, kryper Google alt som standard. Men dette betyr:

• Google vil krype alle admin-, test- og interne sider
• Du har ingen måte å peke til sitemap via robots.txt
• Mangel på grunnleggende kontroll

Hvordan fikse: Opprett en robots.txt-fil i rotmappen. Minimalt innhold:

User-agent: *
Disallow: /admin/
Disallow: /sok?

Sitemap: https://domene.no/sitemap.xml

---

Feil 5: Bruke robots.txt til å skjule sider fra Google (feilaktig forståelse)

Symptomer: Du blokkerer en side med Disallow, men siden dukker fortsatt opp på Google – selv om den ikke har en innholdsbeskrivelse (snippet).

Årsak: Robots.txt blokkerer kryping, ikke indeksering. Hvis siden allerede er indeksert, eller hvis det finnes en backlink fra et annet nettsted som peker til den, kan Google beholde URL-en i søkeresultatene – den viser bare ikke innholdet.

Korrekt løsning:

Mål	Hva skal brukes
Ønsker ikke at Google skal krype (skanne)	Disallow i robots.txt
Ønsker ikke at Google skal indeksere (vise)	<meta name="robots" content="noindex">-tag i HTML
Ønsker ingen av delene	Bruk noindex i HTML (og ikke blokker i robots.txt)

⚠️ Dette er det punktet som oftest misforstås: Hvis du både blokkerer kryping (robots.txt) og setter noindex (HTML), vil Google ikke se noindex-taggen fordi den ikke får krype siden – og siden kan fortsatt bli indeksert. Løsning: bruk noindex i HTML og fjern Disallow-regelen for den siden i robots.txt.

Mal for robots.txt for bedriftsnettsteder

Her er en mal for robots.txt som passer for de fleste SMB-bedriftsnettsteder:

# =============================================
# Robots.txt for bedriftsnettsteder
# Oppdatert: 2026-04-20
# =============================================

# Gjelder for alle bots
User-agent: *

# Blokker administrasjons- og interne områder
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/

# Blokker interne søkesider (unngå sløsing med krypebudsjett)
Disallow: /sok?
Disallow: /*?s=

# Blokker URL-er med sporingsparametre (unngå duplisert innhold)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=

# Blokker handlekurv / kasse-sider (hvis relevant)
Disallow: /handlekurv/
Disallow: /kasse/
Disallow: /min-konto/

# Tillat CSS, JS, bilder (Google trenger dem for å gjengi siden)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/

# Pek til sitemap
Sitemap: https://domene.no/sitemap.xml

📝 Merk for utviklere: Robots.txt-filen må ligge i rot-domenet – https://example.com/robots.txt. Ikke /blogg/robots.txt eller en annen undermappe. Hvert subdomene trenger sin egen robots.txt (for eksempel: blogg.example.com/robots.txt er separat fra example.com/robots.txt).

Slik sjekker du nettstedets robots.txt

Metode 1: Sjekk direkte i nettleseren

Skriv inn https://ditt-domene.com/robots.txt i adressefeltet. Du vil se filens innhold i tekstformat. Hvis du ser en 404-feil – nettstedet har ingen robots.txt.

Metode 2: Bruk Google Search Console

1. Logg inn på Google Search Console
2. Gå til Innstillinger → Kryping → robots.txt
3. Se robots.txt-filen som Google leser
4. Sjekk om en spesifikk URL er blokkert

Metode 3: Sjekk i Indexing-rapporten

I Search Console → Sider (eller Indeksering) → Finn delen "Blocked by robots.txt". Hvis viktige sider er i denne listen, må du endre robots.txt umiddelbart.

💡 Det anbefales å sjekke robots.txt minst en gang i kvartalet eller hver gang nettstedet gjennomgår store endringer (nye sider, struktur-endringer, plattformmigrering).

Tabell: Hva robots.txt bør blokkere og ikke blokkere

✅ BØR blokkeres	❌ BØR IKKE blokkeres
Administrasjonssider (/admin/, /wp-admin/)	Hjemmeside, tjenestesider, kontaktsider
Staging / test-sider	Blogginnlegg, artikler
Interne søkesider (/search?)	CSS- og JavaScript-filer
URL-er med sporingsparametre (?utm_, ?fbclid=)	Bilder (Google Images genererer også trafikk)
Handlekurv-, kasse-, personlige kontosider	Sitemap
Sider med duplisert innhold (filtre, sortering, paginering)	FAQ-sider, case studies

---

Ofte stilte spørsmål om robots.txt

Hva er forskjellen på robots.txt og sitemap?

Sitemap sier: "Dette er sidene jeg vil at Google skal vite om." Robots.txt sier: "Dette er sidene jeg ikke vil at Google skal krype." De to filene utfyller hverandre – sitemap viser veien inn, robots.txt setter barrierer.

Hvis det ikke finnes robots.txt, kan Google krype nettstedet?

Ja. Uten robots.txt, kryper Google alle sider som standard – inkludert de du ikke vil ha. Derfor er det viktig å ha denne filen.

Jeg bruker WordPress, hvor er robots.txt-filen?

WordPress oppretter en virtuell robots.txt. Hvis du bruker et SEO-plugin som Yoast eller Rank Math, kan du redigere robots.txt direkte i plugin-en uten å måtte få tilgang til serveren.

Påvirker robots.txt nettstedets hastighet?

Nei. Denne filen er bare noen få KB stor. Den påvirker ikke sideinnlastingshastigheten.

Jeg blokkerte en side med robots.txt, men siden vises fortsatt på Google?

Fordi robots.txt bare blokkerer kryping, ikke indeksering. Hvis du vil at siden skal forsvinne helt fra Google, bruk <meta name="robots" content="noindex">-taggen i HTML – og ikke blokker den siden i robots.txt (slik at Google kan lese noindex-taggen).

Etter at jeg har endret robots.txt, hvor lang tid tar det før Google oppdaterer?

Google sjekker vanligvis robots.txt på nytt innen 24-48 timer. Du kan gå til Search Console → Innstillinger → Kryping for å be Google om å sjekke på nytt tidligere.

Konklusjon

Robots.txt er en liten fil – ofte bare noen få linjer – men den påvirker direkte om Google ser nettstedet ditt eller ikke.

Ting å huske:

1. Robots.txt er et "Begrenset område"-skilt: forteller Google hvilke sider som ikke skal skannes
2. Sjekk umiddelbart når nettstedet lanseres: feilen med å blokkere hele nettstedet er vanlig og mest alvorlig
3. Ikke bruk robots.txt til å skjule sider fra Google: den blokkerer kryping, ikke indeksering
4. Tillat alltid CSS og JS: Google trenger å gjengi siden for å forstå innholdet
5. Kombiner med sitemap og Search Console: for full kontroll over hvordan Google kryper og indekserer nettstedet

Sjekk nettstedets plattform

Robots.txt er bare én av mange tekniske faktorer som påvirker SEO. Lurer du på: "Er nettstedet mitt konfigurert riktig?" – svaret ligger i plattformen du bruker.

GTG CRM hjelper deg med å få et nettsted med standard robots.txt, automatisk sitemap, og teknisk struktur klar for Google – du trenger ikke å bekymre deg for å endre hver fil, hver kodelinje.