Hva er Robots.txt og når bør bedrifter bry seg om det?

Du har en sitemap, den er sendt til Google, og nettsiden din begynner å bli indeksert. Men en dag oppdager du at administrasjonssiden (admin), interne betalingssider eller staging-sider på nettsiden din også vises på Google. Kunder som søker etter firmanavnet ditt - ser også den uferdige test-siden.

Eller omvendt: Du legger ut et nytt blogginnlegg, venter i to uker, og ser det fortsatt ikke på Google. Du spør teknisk personell, de sier: "robots.txt-filen blokkerer Google fra å krype hele nettsiden."

Begge situasjonene involverer en liten fil som webansvarlige sjelden legger merke til: robots.txt.

Denne artikkelen forklarer hva robots.txt er, hvordan den fungerer, når du trenger å redigere den, og vanlige feil som bedrifter bør unngå – alt forklart på et enkelt språk, med virkelige eksempler.

Hva er robots.txt? Forklaring for webansvarlige

Hvis sitemap er bygningens oversiktskart – som forteller Google hvilke rom som finnes, så er robots.txt et "Adgang forbudt"-skilt – som forteller Google hvilke rom som ikke har adgang.

Teknisk sett: robots.txt er en liten tekstfil, plassert i rotmappen på nettsiden (f.eks. https://example.com/robots.txt). Denne filen inneholder regler som forteller søkemotor-bots – som Googlebot –:

• Hvilke sider som har lov til å bli krypet (skannet)
• Hvilke sider som ikke har lov til å bli krypet
• Hvor sitemapet befinner seg

Du kan se robots.txt for hvilken som helst nettside ved å skrive: domene.com/robots.txt i nettleseren.

💡 Viktig: robots.txt er bare en høflig forespørsel, ikke et absolutt forbud. Anstendige bots som Googlebot vil følge den, men dårlige bots (spam, scrapere) kan ignorere den. Hvis du trenger reell sikkerhet, bruk passord eller en brannmur – ikke stol på robots.txt.

Hvordan ser en robots.txt-fil ut?

Du trenger ikke å skrive denne filen fra bunnen av. Men for å forstå den når du ser den, her er en enkel robots.txt-fil:

User-agent: *
Disallow: /admin/
Disallow: /thanh-toan/
Disallow: /staging/
Allow: /

Sitemap: https://example.com/sitemap.xml

Forklaring av hver linje:

Linje	Betydning
User-agent: *	Gjelder for alle bots (Google, Bing, osv.)
Disallow: /admin/	Forhindrer bots i å gå inn i mappen /admin/
Disallow: /thanh-toan/	Forhindrer bots i å gå inn på betalingssiden
Disallow: /staging/	Forhindrer bots i å gå inn på staging-versjonen
Allow: /	Tillater bots å krype resten av nettstedet
Sitemap: https://...	Forteller bots hvor sitemapet er plassert

Her er et mer komplisert eksempel – passende for en bedriftsnettside med en blogg, tjenestesider og et administrasjonsområde:

# Tillater alle bots å krype offentlig innhold
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_

# Tillater Googlebot å krype CSS og JS (nødvendig for å rendre siden)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/

Sitemap: https://example.com/sitemap.xml

📝 Merk for utviklere: Tegnet `` i stien er et jokertegn – `/?utm_` betyr at alle URL-er som inneholder parameteren `?utm_` blir blokkert. Tegnet `$` på slutten av stien brukes for å nøyaktig matche slutten av URL-en. For eksempel: `Disallow: /*.pdf$` vil blokkere alle PDF-filer.

Hvordan fungerer robots.txt i SEO-prosessen?

For å forstå hvor robots.txt passer inn, la oss se på Googles prosess for å inkludere nettsider i søkeresultatene:

Crawl → Index → Rank
(Kryp)   (Indekser)   (Rangering)

Robots.txt fungerer i det første trinnet - Crawling.

Før Googlebot begynner å skanne noen sider på nettstedet ditt, sjekker den robots.txt først. Hvis en URL er oppført i Disallow, vil Googlebot ignorere den siden - ikke skanne, ikke lese innholdet.

Googlebot ønsker å crawle https://example.com/admin/settings
→ Sjekker robots.txt
→ Finner Disallow: /admin/
→ Ignorerer, crawler ikke

Googlebot ønsker å crawle https://example.com/dich-vu/
→ Sjekker robots.txt
→ Blokkert, ikke blokkert
→ Crawler normalt → Indekserer → Kan vises i søkeresultater

Robots.txt og sitemap: et utfyllende par

Fil	Rolle
Sitemap	"Dette er listen over sider jeg ønsker at Google skal vite om"
Robots.txt	"Dette er sidene jeg ikke ønsker at Google skal skanne"

Disse to filene motsier ikke hverandre - de jobber sammen. Sitemapet viser veien, robots.txt setter opp sperringer. Ved å kombinere dem riktig, kontrollerer du hva Google ser og hva den ignorerer på nettstedet ditt.

Hva brukes robots.txt til? 4 vanlige tilfeller

1. Skjul administrative og interne sider fra Google

Administrasjonssider, backend CMS-sider, staging-sider, test-sider - alle bør ikke vises på Google. Robots.txt hjelper deg med å fortelle Google: "Ikke gå hit."

Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/

2. Unngå sløsing med "crawl budget"

Google crawler ikke uendelig. Hvert nettsted har et "crawl budget" - antall sider Googlebot vil skanne under hvert besøk. Hvis nettstedet har mange uviktige sider (interne søkesider, filter-sider, pagineringssider), kan Googlebot bli opptatt med å skanne disse sidene i stedet for viktige tjenestesider eller blogginnlegg.

Disallow: /search?
Disallow: /tag/
Disallow: /page/

💡 Crawl budget er hovedsakelig viktig for store nettsteder (tusenvis av sider). Små bedriftsnettsteder trenger vanligvis ikke å bekymre seg for mye, men det er fortsatt god praksis å holde robots.txt ryddig.

3. Blokkér duplisert innhold

Hvis nettstedet ditt har flere URL-er som fører til samme innhold (for eksempel URL-er med sporingsparametere ?utm_source=facebook, eller en utskriftsvennlig versjon ?print=true), kan du blokkere disse dupliserte URL-ene:

Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=

4. Angi plassering til sitemap

Robots.txt er det første stedet Googlebot sjekker når det kommer til nettstedet. Å plassere sitemap-adressen her hjelper Google med å finne sitemapet raskere - selv om du ikke har sendt det inn via Search Console.

Sitemap: https://example.com/sitemap.xml

Når bør bedrifter bry seg om robots.txt?

Du trenger ikke alltid å endre robots.txt. Men det er tider da det å sjekke denne filen er obligatorisk:

Når nettstedet er nytt (lansert)

Dette er det viktigste tidspunktet. Mange nettsteder blir fullstendig blokkert for crawling fordi utviklerne glemmer å fjerne linjen Disallow: / - linjen de satte opp under staging for å hindre Google i å indeksere uferdige versjoner.

Sjekk ved lansering:

Kategori	Slik sjekker du
Robots.txt-filen eksisterer	Åpne https://domene.com/robots.txt i nettleseren
Blokkerer ikke hele nettstedet	Sørg for at det IKKE er en linje Disallow: /
Sitemap er deklarert	Sørg for at det ER en linje Sitemap: https://domene.com/sitemap.xml
Viktige sider er ikke blokkert	Sjekk at tjeneste-, blogg- og kontaktsider ikke er inkludert i Disallow

✅ Når nettstedet ikke blir indeksert av Google etter flere uker

Hvis du allerede har et sitemap, har sendt det inn via Search Console, men Google indekserer det likevel ikke - er robots.txt den første mistenkte du bør sjekke.

Når du legger til områder som skal skjules (medlemsområder, interne sider)

Hvis nettstedet ditt legger til administrasjonssider for kontoer, medlemsområder eller interne sider - oppdater robots.txt for å blokkere disse områdene.

Når du bytter nettstedsplattform eller redesigner

Hver plattform (WordPress, Webflow, tilpasset kode) lager forskjellige URL-strukturer. Når du migrerer, kan den gamle robots.txt blokkere nye sider feilaktig eller unnlate å blokkere sider som burde vært blokkert.

Når Search Console rapporterer feilen "Blocked by robots.txt"

Google Search Console har en rapport for Indeksering som viser hvilke sider som er blokkert av robots.txt. Hvis du ser at viktige sider er blokkert - er det på tide å justere filen umiddelbart.

5 vanlige robots.txt-feil og hvordan du fikser dem

Feil 1: Blokkering av hele nettstedet - den mest alvorlige feilen

Symptomer: Ingen sider blir indeksert av Google. Search Console rapporterer mange sider som "Blocked by robots.txt".

Årsak: Robots.txt-filen inneholder:

User-agent: 
Disallow: /

Disse to linjene betyr: "Forby alle boter å gå til noen side." Dette skjer vanligvis når utviklere setter denne regelen under staging og glemmer å fjerne den når nettstedet går live.

Løsning: Endre til:

User-agent: *
Disallow:

Sitemap: https://domen.com/sitemap.xml

Disallow: (ingenting etter kolon) = tillat crawling av alt.

⚠️ Dette er den nr. 1 feilen vi ser på nye bedriftsnettsteder. Etter at du har fikset den, kan det ta alt fra noen dager til flere uker for Google å krype nettstedet på nytt. Send inn sitemapet ditt på nytt via Search Console for å fremskynde prosessen.

Feil 2: Blokkerer CSS og JavaScript

Symptomer: Nettstedet vises normalt i nettleseren, men når du bruker "URL Inspection"-verktøyet i Search Console, ser Google at siden har et ødelagt layout eller mangler innhold.

Årsak: Robots.txt blokkerer mappene som inneholder CSS og JS:

Disallow: /wp-content/
Disallow: /wp-includes/

Google trenger å lese CSS og JS for å forstå hvordan siden ser ut (dette kalles "rendering"). Hvis det er blokkert, kan ikke Google gjengi siden → forstår ikke innholdet → påvirker rangeringen.

Løsning:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/

📝 Merknad for utviklere: Siden 2014 har Google tydelig anbefalt: ikke blokker CSS, JS og bilder i robots.txt. Googlebot trenger disse ressursene for å gjengi siden riktig. Bruk URL Inspection-verktøyet i Search Console for å sjekke hvordan Google gjengir siden din.

Feil 3: Blokkerer feilaktig viktige sider

Symptomer: Tjenestesider, produktsider eller blogginnlegg vises ikke på Google - selv om sitemapet lister dem opp.

Årsak: En regel i robots.txt er for bred. For eksempel:

Disallow: /tjenester

Denne linjen blokkerer ikke bare /tjenester/, men også /tjenester-nettdesign/, /tjenester-seo/, og enhver URL som begynner med /tjenester.

Løsning: Legg til en / på slutten av stien for å blokkere mappen nøyaktig:

Disallow: /interne-tjenester/

Eller bruk Allow for å beskytte nødvendige sider:

Disallow: /interne-tjenester/
Allow: /tjenester/
Allow: /tjenester-nettdesign/

📝 Merknad for utviklere: Rekkefølgen på `Allow` og `Disallow` har betydning. Googlebot bruker den mest spesifikke stien (most specific path). Hvis lengden er den samme, foretrekkes `Allow` fremfor `Disallow`. Test alltid med Robots Testing Tool i Search Console før du implementerer.

Feil 4: Ingen robots.txt-fil

Symptom: Typing ten-mien.com/robots.txt → returns a 404 error.

Cause: The website is manually built and the developer did not create this file. Or the file was accidentally deleted during deployment.

Impact: Not as serious as error 1 - if there is no robots.txt, Google defaults to crawling everything. But this means:

• Google will crawl admin pages, test pages, internal pages
• You have no way to point to the sitemap via robots.txt
• Lack of basic control

Solution: Create a robots.txt file in the root directory. Minimum content:

User-agent: *
Disallow: /admin/
Disallow: /search?

Sitemap: https://ten-mien.com/sitemap.xml

Error 5: Using robots.txt to hide pages from Google (misunderstanding purpose)

Symptom: You block a page with Disallow, but the page still appears on Google - albeit without a content snippet.

Cause: Robots.txt blocks crawling, not indexing. If the page was indexed previously, or has a backlink from another website pointing to it, Google may keep the URL in search results - it just won't display the content.

Correct Solution:

Objective	What to use
Do not want Google to crawl	Disallow in robots.txt
Do not want Google to index	tag in HTML
Do not want either	Use noindex in HTML (and do not block in robots.txt)

⚠️ This is the most misunderstood point: If you both block crawling (robots.txt) and set `noindex` (HTML), Google will not see the noindex tag because it's not allowed to crawl the page — and the page might still be indexed. Solution: use `noindex` in HTML and remove the `Disallow` rule for that page in robots.txt.

Sample robots.txt for business websites

Here is a sample robots.txt file suitable for most SMB business websites:

# =============================================
# Robots.txt for business websites
# Updated: 2026-04-20
# =============================================

# Apply to all bots
User-agent: *

# Block admin and internal areas
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/

# Block internal search pages (to avoid wasting crawl budget)
Disallow: /search?
Disallow: /*?s=

# Block URLs with tracking parameters (to avoid duplicate content)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=

# Block cart/checkout pages (if applicable)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

# Allow CSS, JS, images (Google needs these to render the page)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/

# Point to the sitemap
Sitemap: https://ten-mien.com/sitemap.xml

📝 Note for developers: The robots.txt file must be located at the root domain — `https://example.com/robots.txt`. Not `/blog/robots.txt` or other subdirectories. Each subdomain needs its own robots.txt (e.g., `blog.example.com/robots.txt` separate from `example.com/robots.txt`).

How to check your website's robots.txt

Method 1: Direct check in the browser

Type https://ten-mien-cua-ban.com/robots.txt into the address bar. You will see the file content in text format. If you see a 404 error — the website does not have a robots.txt yet.

Method 2: Using Google Search Console

1. Logg inn på Google Search Console
2. Gå til Innstillinger → Crawling → robots.txt
3. Se filen robots.txt som Google leser
4. Sjekk om en spesifikk URL er blokkert

Metode 3: Sjekk i indekseringsrapporten

I Search Console → Sider (eller Indeksering) → Finn delen "Blokkert av robots.txt". Hvis det er viktige sider i denne listen, må du korrigere robots.txt umiddelbart.

💡 Det anbefales å sjekke robots.txt minst én gang i kvartalet eller hver gang nettstedet har store endringer (nye sider, endret struktur, plattformmigrering).

Oppsummeringstabell: Hva robots.txt bør blokkere og ikke blokkere

✅ BØR blokkere	❌ BØR IKKE blokkere
Administrasjonssider (/admin/, /wp-admin/)	Hjemmeside, tjenestesider, kontaktsider
Staging / test-sider	Blogginnlegg, artikler
Interne søkesider (/search?)	CSS- og JavaScript-filer
URL-er med sporingsparametere (?utm_, ?fbclid=)	Bilder (Google Images gir også trafikk)
Handlekurv, betaling, personlige kontosider	Sitemap
Sider med duplisert innhold (filter, sortering, paginering)	FAQ-sider, casestudier

Ofte stilte spørsmål om robots.txt

Hvordan er robots.txt forskjellig fra sitemap?

Sitemap sier: "Her er sidene jeg vil at Google skal vite om." Robots.txt sier: "Her er sidene jeg ikke vil at Google skal skanne." De to filene utfyller hverandre – sitemap viser veien inn, robots.txt setter opp sperringer.

Hvis jeg ikke har robots.txt, kan Google likevel skanne nettstedet?

Ja. Uten robots.txt vil Google som standard skanne alle sider – inkludert de du ikke ønsker. Det er derfor det er viktig å ha denne filen.

Jeg bruker WordPress, hvor finner jeg robots.txt?

WordPress lager en virtuell robots.txt automatisk. Hvis du bruker et SEO-plugin som Yoast eller Rank Math, kan du redigere robots.txt direkte i pluginet uten å måtte få tilgang til serveren.

Påvirker robots.txt nettstedets hastighet?

Nei. Denne filen er bare noen få KB stor. Den påvirker ikke sideinnlastingshastigheten.

Jeg har blokkert en side med robots.txt, hvorfor vises siden fortsatt på Google?

Fordi robots.txt bare blokkerer skanning, ikke indeksering. Hvis du vil at en side skal forsvinne helt fra Google, bruk taggen i HTML – og ikke blokker siden i robots.txt (slik at Google kan lese noindex-taggen).

Etter at jeg har endret robots.txt, hvor lang tid tar det før Google oppdaterer?

Google sjekker vanligvis robots.txt igjen innen 24-48 timer. Du kan gå til Search Console → Innstillinger → Crawling for å be Google om å sjekke igjen tidligere.

Konklusjon

Robots.txt er en liten fil – ofte bare noen få linjer – men den påvirker direkte om Google finner nettstedet ditt eller ikke.

Ting å huske:

1. Robots.txt er et skilt som sier "Begrenset område": det forteller Google hvilke sider som ikke skal skannes.
2. Sjekk umiddelbart etter lansering av nettstedet: feil som blokkerer hele nettstedet er vanlige og alvorlige.
3. Ikke bruk robots.txt for å skjule sider fra Google: den blokkerer skanning, ikke indeksering.
4. Tillat alltid CSS og JS: Google trenger å gjengi siden for å forstå innholdet.
5. Kombiner med sitemap og Search Console: for full kontroll over hvordan Google skanner og indekserer nettstedet.

Sjekk nettstedets plattform

Robots.txt er bare ett av mange tekniske elementer som påvirker SEO. Hvis du lurer på: "Er nettstedet mitt satt opp riktig?" – svaret ligger i plattformen du bruker.

GTG CRM gir deg et nettsted med riktig robots.txt, automatisk sitemap og en teknisk struktur som er klar for Google – du trenger ikke å bekymre deg for å endre hver fil, hver kodelinje.