Du har sitemap, du har sendt det til Google, og nettstedet ditt har begynt å bli indeksert. Men en dag oppdager du at administrasjonssiden (admin), interne betalingssider eller staging-siden på nettstedet ditt også dukker opp på Google. Når kunder skriver inn firmanavnet ditt, ser de til og med en uferdig testside.
Eller omvendt: du legger ut et nytt blogginnlegg, venter i to uker, og det vises fortsatt ikke på Google. Når du spør den tekniske avdelingen, sier de: "Robots.txt-filen blokkerer Google fra å krype hele nettstedet."
Begge disse situasjonene er relatert til en liten fil som få webansvarlige legger merke til: robots.txt.
Denne artikkelen vil forklare hva robots.txt er, hvordan det fungerer, når du trenger å endre det, og vanlige feil som bedrifter bør unngå - alt på et enkelt språk, med praktiske eksempler.
Hva er Robots.txt? Forklart for webansvarlige
Hvis sitemap er bygningens oversiktskart - som forteller Google hvilke rom som finnes, så er robots.txt "Restricted Area"-skiltet - som forteller Google hvilke rom som ikke får slippe inn.
Teknisk sett: robots.txt er en liten tekstfil som ligger i rotkatalogen på nettstedet (f.eks. https://example.com/robots.txt). Denne filen inneholder regler (rules) som forteller søkemotor-botter - som Googlebot - hva:
- Hvilke sider som har tillatelse til å bli kryptert (scannet)
- Hvilke sider som ikke har tillatelse til å bli kryptert
- Hvor sitemap ligger
Du kan se robots.txt for ethvert nettsted ved å skrive: domain.com/robots.txt i nettleseren.
💡 Viktig: robots.txt er bare en høflig forespørsel, ikke en absolutt forbud. Pålidelige botter som Googlebot vil følge den, men slemme botter (spam, scrapere) kan ignorere den. Hvis du trenger reell sikkerhet, bruk passord eller en brannmur - ikke stol på robots.txt.
Hvordan ser en robots.txt-fil ut?
Du trenger ikke å skrive denne filen fra bunnen av. Men for å forstå når du ser på den, her er en enkel robots.txt-fil:
User-agent: *
Disallow: /admin/
Disallow: /thanh-toan/
Disallow: /staging/
Allow: /
Sitemap: https://example.com/sitemap.xmlForklaring av hver linje:
| Linje | Betydning |
|---|---|
User-agent: * | Gjelder for alle botter (Google, Bing, osv.) |
Disallow: /admin/ | Forbyr botter å gå inn i /admin/-katalogen |
Disallow: /thanh-toan/ | Forbyr botter å gå inn på betalingssiden |
Disallow: /staging/ | Forbyr botter å gå inn på staging-versjonen |
Allow: / | Tillater botter å kryptere resten av innholdet |
Sitemap: https://... | Forteller botter hvor sitemap ligger |
Her er et mer komplekst eksempel - passende for et bedriftsnettsted med blogg, tjenestesider og administrasjonsområde:
# Tillat alle botter å kryptere offentlig innhold
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_
# Tillat Googlebot å kryptere CSS og JS (nødvendig for å rendre siden)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/
Sitemap: https://example.com/sitemap.xml📝 Merk for utviklere: `*` tegnet i banen er et jokertegn - `/ *?utm_` betyr å blokkere enhver URL som inneholder `?utm_` parameteren. `$` tegnet på slutten av banen brukes for å matche slutten av URL-en nøyaktig. For eksempel: `Disallow: /*.pdf$` vil blokkere alle PDF-filer.
Hvordan fungerer Robots.txt i SEO-prosessen?
For å forstå robots.txt sin plass, la oss se på prosessen Google bruker for å inkludere nettsteder i søkeresultatene:
Crawl → Index → Rank
(Kryptere) (Lagre) (Rangere)Robots.txt opererer i det første trinnet - Crawl.
Før Googlebot begynner å skanne noen side på nettstedet ditt, vil den sjekke robots.txt først. Hvis en URL er listet i Disallow, vil Googlebot hoppe over den siden - ikke kryptere, ikke lese innholdet.
Googlebot ønsker å kryptere https://example.com/admin/settings
→ Sjekker robots.txt
→ Finner Disallow: /admin/
→ Hopper over, krypterer ikke
Googlebot ønsker å kryptere https://example.com/dich-vu/
→ Sjekker robots.txt
→ Ikke blokkert
→ Krypterer normalt → Indekserer → Kan vises i søkeresultateneRobots.txt og sitemap: et komplementært par
| Fil | Rolle |
|---|---|
| Sitemap | "Dette er listen over sider jeg vil at Google skal vite om" |
| Robots.txt | "Dette er sidene jeg ikke vil at Google skal kryptere" |
Disse to filene er ikke i konflikt - de jobber sammen. Sitemap viser veien, robots.txt setter opp barrierer. Ved å kombinere dem riktig, kan du kontrollere hva Google ser og ignorerer på nettstedet ditt.
Hva brukes Robots.txt til? 4 vanlige tilfeller
1. Skjule administrasjons- og interne sider fra Google
Admin-sider, backend CMS-sider, staging-sider, test-sider - alle bør ikke vises på Google. Robots.txt hjelper deg med å fortelle Google: "Ikke gå hit."
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/2. Unngå å kaste bort "crawl budget"
Google krypterer ikke uendelig. Hvert nettsted har et "crawl budget" - antall sider Googlebot vil skanne under hvert besøk. Hvis nettstedet har mange unødvendige sider (interne søkesider, filter-sider, pagineringssider), kan Googlebot bruke tid på å kryptere disse i stedet for viktige tjeneste- eller bloggsider.
Disallow: /search?
Disallow: /tag/
Disallow: /page/💡 Crawl budget er hovedsakelig viktig for store nettsteder (tusenvis av sider). Små bedriftsnettsteder trenger vanligvis ikke å bekymre seg for mye, men det er fortsatt en god vane å holde robots.txt ryddig.
3. Blokkere duplisert innhold
Hvis nettstedet har flere URL-er som fører til samme innhold (f.eks. URL-er med sporingsparametre ?utm_source=facebook, eller utskriftsversjon ?print=true), kan du blokkere disse dupliserte URL-ene:
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=4. Vise veien til sitemap
Robots.txt er det første stedet Googlebot sjekker når den kommer til nettstedet. Å plassere sitemap-adressen her hjelper Google med å finne sitemap raskere - selv om du ikke har sendt det inn via Search Console ennå.
Sitemap: https://example.com/sitemap.xmlNår bør bedrifter bry seg om robots.txt?
Du trenger ikke alltid å endre robots.txt. Men det er tider da det er obligatorisk å sjekke denne filen:
Når nettstedet lanseres (go-live)
Dette er det viktigste tidspunktet. Mange nettsteder blir fullstendig blokkert fra kryptering fordi utviklerne glemmer å fjerne Disallow: /-linjen - som de plasserte under staging for å forhindre at Google indekserer en uferdig versjon.
Sjekk ved lansering:
| Kategori | Slik sjekker du |
|---|---|
| robots.txt-filen eksisterer | Åpne https://domain.com/robots.txt i nettleseren |
| Ikke blokkerer hele nettstedet | Sørg for at det IKKE er en Disallow: /-linje |
| Sitemap er deklarert | Sørg for at det ER en Sitemap: https://domain.com/sitemap.xml-linje |
| Viktige sider er ikke blokkert | Sjekk at tjeneste-, blogg- og kontaktsider ikke er inkludert i Disallow |
✅ Når nettstedet ikke blir indeksert av Google etter flere uker
Hvis du har et sitemap, har sendt det inn via Search Console, men Google indekserer det fortsatt ikke - er robots.txt den første mistenkte som må sjekkes.
Når du legger til områder som skal skjules (medlemsider, interne sider)
Hvis nettstedet legger til kontoadministrasjonssider, medlemsområder eller interne sider - oppdater robots.txt for å blokkere disse områdene.
Når du bytter nettstedsplattform eller redesigner
Hver plattform (WordPress, Webflow, custom code) skaper forskjellig URL-struktur. Ved migrering kan gammel robots.txt feilaktig blokkere nye sider eller overse sider som skal blokkeres.
Når Search Console rapporterer "Blocked by robots.txt" feil
Google Search Console har en Indexing-rapport som viser hvilke sider som er blokkert av robots.txt. Hvis du ser viktige sider som er blokkert - er det på tide å endre filen umiddelbart.
5 vanlige robots.txt-feil og hvordan fikse dem
Feil 1: Blokkerer hele nettstedet - den alvorligste feilen
Symptom: Ingen sider blir indeksert av Google. Search Console rapporterer mange sider som "Blocked by robots.txt".
Årsak: robots.txt-filen inneholder:
User-agent:
Disallow: /Disse to linjene betyr: "Forby alle botter å gå inn på noen side." Dette skjer vanligvis når utviklere plasserer denne regelen under staging og glemmer å fjerne den ved lansering.
Slik fikser du: Endre til:
User-agent: *
Disallow:
Sitemap: https://domain.com/sitemap.xmlDisallow: (ingenting etter kolon) = tillater kryptering av alt.
⚠️ Dette er feil nr. 1 vi ser på nye bedriftsnettsteder. Etter retting kan det ta flere dager til uker før Google krypterer på nytt. Send inn sitemap på nytt via Search Console for å fremskynde prosessen.
Feil 2: Blokkerer CSS og JavaScript
Symptom: Nettstedet vises normalt i nettleseren, men når du bruker "URL Inspection"-verktøyet i Search Console, ser Google at siden har ødelagt layout eller tomt innhold.
Årsak: Robots.txt blokkerer katalogene som inneholder CSS og JS:
Disallow: /wp-content/
Disallow: /wp-includes/Google trenger å lese CSS og JS for å forstå hvordan siden ser ut (dette kalles "rendering"). Hvis de er blokkert, kan ikke Google rendre siden → forstår ikke innholdet → påvirker rangeringen.
Slik fikser du:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/📝 Merk for utviklere: Siden 2014 har Google tydelig anbefalt: ikke blokker CSS, JS og bilder i robots.txt. Googlebot trenger disse ressursene for å rendre siden riktig. Bruk URL Inspection tool i Search Console for å sjekke hvordan Google renderer siden din.
Feil 3: Blokkerer feil viktige sider
Symptom: Tjeneste-, produkt- eller bloggsider vises ikke på Google - selv om sitemap inkluderer dem.
Årsak: Regel i robots.txt er for bred. For eksempel:
Disallow: /dich-vuDenne linjen blokkerer ikke bare /dich-vu/, men også /dich-vu-thiet-ke-web/, /dich-vu-seo/, og enhver URL som starter med /dich-vu.
Slik fikser du: Legg til en skråstrek / på slutten av banen for å blokkere katalogen nøyaktig:
Disallow: /dich-vu-noi-bo/
Eller bruk Allow for å beskytte nødvendige sider:
Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/📝 Merk for utviklere: Rekkefølgen på `Allow` og `Disallow` har betydning. Googlebot bruker den mest spesifikke baneregelen (most specific path). Ved lik lengde har `Allow` forrang fremfor `Disallow`. Test alltid med [Robots Testing Tool](https://support.google.com/webmasters/answer/6062598) i Search Console før du distribuerer.
Feil 4: Ingen robots.txt-fil
Symptom: Skriver du domain.com/robots.txt → gir 404-feil.
Årsak: Nettstedet er laget manuelt og utvikleren opprettet ikke denne filen. Eller filen ble feilaktig slettet under distribusjon.
Påvirkning: Ikke så alvorlig som feil 1 - hvis det ikke er noen robots.txt, krypterer Google alt som standard. Men dette betyr:
- Google vil kryptere admin-sider, test-sider, interne sider
- Du har ingen måte å vise veien til sitemap via robots.txt
- Mangel på grunnleggende kontroll
Slik fikser du: Opprett en robots.txt-fil i rotkatalogen. Minimalt innhold:
User-agent: *
Disallow: /admin/
Disallow: /search?
Sitemap: https://domain.com/sitemap.xmlFeil 5: Bruker robots.txt til å skjule sider fra Google (misforstått formål)
Symptom: Du blokkerer en side med Disallow, men siden vises fortsatt på Google - uten et innholdsutdrag.
Årsak: Robots.txt blokkerer kryptering, ikke indeksering. Hvis siden allerede var indeksert, eller har en backlink fra et annet nettsted som peker til den, kan Google beholde URL-en i søkeresultatene - bare uten å vise innholdet.
Riktig løsning:
| Mål | Hva skal brukes |
|---|---|
| Ønsker ikke at Google skal kryptere (scanne) | Disallow i robots.txt |
| Ønsker ikke at Google skal indeksere (vise) | <meta name="robots" content="noindex"> tag i HTML |
| Ønsker ikke begge deler | Bruk noindex i HTML (og ikke blokker i robots.txt) |
⚠️ Dette er det punktet som oftest misforstås: Hvis du både blokkerer kryptering (robots.txt) og setter `noindex` (HTML), vil Google ikke se noindex-taggen fordi den ikke får kryptere siden - og siden kan fortsatt bli indeksert. Løsning: bruk `noindex` i HTML og fjern `Disallow`-regelen for den siden i robots.txt.
Mal for robots.txt for bedriftsnettsteder
Her er en mal for robots.txt som passer for de fleste SMB-bedriftsnettsteder:
# =============================================
# Robots.txt for bedriftsnettsteder
# Oppdatert: 2026-04-20
# =============================================
# Gjelder for alle botter
User-agent: *
# Blokker administrasjons- og interne områder
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/
# Blokker interne søkesider (for å unngå å kaste bort crawl budget)
Disallow: /search?
Disallow: /*?s=
# Blokker URL-er med sporingsparametre (for å unngå duplisert innhold)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=
# Blokker handlekurv/betalingssider (hvis aktuelt)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
# Tillat CSS, JS, bilder (Google trenger dette for å rendre siden)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/
# Vis veien til sitemap
Sitemap: https://domain.com/sitemap.xml📝 Merk for utviklere: robots.txt-filen må ligge i rotkatalogen - `https://example.com/robots.txt`. Ikke i `/blog/robots.txt` eller en annen underkatalog. Hvert subdomene trenger sin egen robots.txt (f.eks. `blog.example.com/robots.txt` er separat fra `example.com/robots.txt`).
Slik sjekker du nettstedets robots.txt
Metode 1: Sjekk direkte i nettleseren
Skriv inn https://ditt-domene.com/robots.txt i adressefeltet. Du vil se innholdet i filen som tekst. Hvis du får en 404-feil - nettstedet har ennå ikke en robots.txt.
Metode 2: Bruk Google Search Console
- Logg inn på Google Search Console
- Gå til Innstillinger → Kryptering → robots.txt
- Se robots.txt-filen som Google leser
- Sjekk om en spesifikk URL er blokkert
Metode 3: Sjekk i Indexing-rapporten
I Search Console → Pages (eller Indexing) → Finn seksjonen "Blocked by robots.txt". Hvis viktige sider er i denne listen, må du endre robots.txt umiddelbart.
💡 Det er lurt å sjekke robots.txt minst en gang per kvartal eller hver gang nettstedet gjennomgår store endringer (legger til sider, endrer struktur, migrerer plattform).
Oversikt: Hva robots.txt bør blokkere og ikke blokkere
| ✅ BØR blokkere | ❌ BØR IKKE blokkere |
|---|---|
Admin-sider (/admin/, /wp-admin/) | Forside, tjenestesider, kontaktsider |
| Staging / test-sider | Blogginnlegg, artikler |
Interne søkesider (/search?) | CSS- og JavaScript-filer |
URL-er med sporingsparametre (?utm_, ?fbclid=) | Bilder (Google Images genererer også trafikk) |
| Handlekurv-, betalings-, personlige kontosider | Sitemap |
| Dupliserte innholdssider (filtre, sortering, paginering) | FAQ-sider, case studies |
Ofte stilte spørsmål om robots.txt
Hva er forskjellen på robots.txt og sitemap?
Sitemap sier: "Dette er sidene jeg vil at Google skal vite om." Robots.txt sier: "Dette er sidene jeg ikke vil at Google skal kryptere." De to filene utfyller hverandre - sitemap viser veien inn, robots.txt setter opp barrierer.
Hvis det ikke er noen robots.txt, kan Google kryptere nettstedet?
Ja. Uten robots.txt, krypterer Google alt som standard - inkludert sider du ikke ønsker. Derfor bør du ha denne filen.
Jeg bruker WordPress, hvor er robots.txt-filen?
WordPress lager en virtuell robots.txt (virtual). Hvis du bruker en SEO-plugin som Yoast eller Rank Math, kan du endre robots.txt direkte i plugin-en uten å måtte få tilgang til serveren.
Påvirker robots.txt nettstedets hastighet?
Nei. Denne filen er bare noen få KB stor. Den påvirker ikke sideinnlastingshastigheten.
Jeg blokkerte en side med robots.txt, hvorfor vises den fortsatt på Google?
Fordi robots.txt bare blokkerer kryptering, ikke indeksering. Hvis du vil at en side skal forsvinne helt fra Google, bruk en <meta name="robots" content="noindex">-tag i HTML - og ikke blokker den siden i robots.txt (slik at Google kan lese noindex-taggen).
Hvor lang tid tar det for Google å oppdatere etter at jeg har endret robots.txt?
Google sjekker vanligvis robots.txt på nytt innen 24-48 timer. Du kan gå til Search Console → Innstillinger → Kryptering for å be Google om å sjekke på nytt tidligere.
Konklusjon
Robots.txt er en liten fil - ofte bare noen få linjer - men den påvirker direkte om Google ser nettstedet ditt eller ikke.
Ting å huske:
- Robots.txt er "Restricted Area"-skiltet: forteller Google hvilke sider som ikke skal krypteres
- Sjekk umiddelbart ved lansering av nettstedet: feil som blokkerer hele nettstedet er vanligst og mest alvorlig
- Ikke bruk robots.txt til å skjule sider fra Google: det blokkerer kryptering, ikke indeksering
- Tillat alltid CSS og JS: Google trenger å rendre siden for å forstå innholdet
- Kombiner med sitemap og Search Console: for full kontroll over hvordan Google krypterer og indekserer nettstedet ditt
Sjekk nettstedets plattform
Robots.txt er bare en av mange tekniske faktorer som påvirker SEO. Hvis du lurer på: "Er nettstedet mitt riktig konfigurert?" - svaret ligger i plattformen du bruker.
GTG CRM hjelper deg med å få et nettsted med korrekt robots.txt, automatisk sitemap, og teknisk struktur som er klar for Google - du trenger ikke å bekymre deg for å endre hver fil, hver kodelinje.
Gjør det du nettopp leste til virkelighet - bruk GTG CRM, gratis.
Bruk nå
