Hvad er Robots.txt, og hvornår skal virksomheder bekymre sig om denne fil?

Hvad er Robots.txt, og hvornår skal virksomheder bekymre sig om denne fil?

Du har en sitemap, du har sendt den til Google, og dit website er begyndt at blive indekseret. Men en dag opdager du, at administrationssiden (admin), den interne betalingsside eller staging-siden på dit website også vises på Google. Kunder indtaster firmanavnet – og ser endda den ufærdige testside.

Eller omvendt: Du poster et nyt blogindlæg, venter to uger, og det dukker stadig ikke op på Google. Du spørger den tekniske afdeling, og de siger: "Robots.txt-filen blokerer Google fra at crawle hele websitet."

Begge situationer involverer en lille fil, som få webadministratorer lægger mærke til: robots.txt.

Denne artikel forklarer, hvad robots.txt er, hvordan den fungerer, hvornår du skal redigere den, og hvilke almindelige fejl virksomheder bør undgå – alt sammen i et simpelt sprog med praktiske eksempler.

Hvad er robots.txt? En forklaring til webadministratorer

Hvis sitemap er bygningens plantegning – der fortæller Google, hvilke rum der findes, så er robots.txt et "Adgang forbudt"-skilt – der fortæller Google, hvilke rum den ikke må gå ind i.

Teknisk set er robots.txt en lille tekstfil, der ligger i rodmappen på websitet (f.eks. https://example.com/robots.txt). Denne fil indeholder regler, der fortæller søgemaskinernes bots – som Googlebot –:

• Hvilke sider der må crawles (gennemgås)
• Hvilke sider der ikke må crawles
• Hvor sitemaps er placeret

Du kan se robots.txt på ethvert website ved at indtaste: domænenavn.dk/robots.txt i browseren.

💡 Vigtigt: robots.txt er kun en høflig anmodning, ikke et absolut forbud. Pålidelige bots som Googlebot vil følge den, men dårlige bots (spam, scrapere) kan ignorere den. Hvis du har brug for reel sikkerhed, skal du bruge adgangskode eller firewall – stol ikke på robots.txt.

Hvordan ser en robots.txt-fil ud?

Du behøver ikke at skrive denne fil fra bunden. Men for at forstå den, når du ser på den, her er en simpel robots.txt-fil:

User-agent: *
Disallow: /admin/
Disallow: /thanh-toan/
Disallow: /staging/
Allow: /

Sitemap: https://example.com/sitemap.xml

Forklaring af hver linje:

Linje	Betydning
User-agent: *	Gælder for alle bots (Google, Bing osv.)
Disallow: /admin/	Forbyder botten at tilgå mappen /admin/
Disallow: /thanh-toan/	Forbyder botten at tilgå betalingssiden
Disallow: /staging/	Forbyder botten at tilgå staging-versionen
Allow: /	Tillader botten at crawle resten af websitet
Sitemap: https://...	Fortæller botten, hvor sitemappet er placeret

Her er et mere komplekst eksempel – velegnet til et virksomhedswebsite med blog, servicesider og administrationsområde:

# Tillad alle bots at crawle offentligt indhold
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_

# Tillad Googlebot at crawle CSS og JS (nødvendigt for at rendere siden)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/

Sitemap: https://example.com/sitemap.xml

📝 Note til udviklere: Tegnet * i stien er et wildcard – /*?utm_ betyder, at alle URL'er, der indeholder parameteret ?utm_, blokeres. Tegnet $ i slutningen af stien bruges til at matche præcist slutningen af URL'en. For eksempel: Disallow: /*.pdf$ blokerer alle PDF-filer.

---

Hvordan fungerer robots.txt-filen i SEO-processen?

For at forstå robots.txt's placering, lad os se på processen for, hvordan Google fører et website ind i søgeresultaterne:

Crawl → Index → Rank
(Genemsøg)  (Gem)   (Rangering)

Robots.txt fungerer i det første trin – Crawl.

Før Googlebot begynder at gennemgå nogen side på dit website, tjekker den robots.txt først. Hvis en URL er angivet i Disallow, vil Googlebot ignorere siden – den vil ikke crawle den, den vil ikke læse indholdet.

Googlebot ønsker at crawle https://example.com/admin/settings
→ Tjekker robots.txt
→ Finder Disallow: /admin/
→ Ignorerer, crawler ikke

Googlebot ønsker at crawle https://example.com/dich-vu/
→ Tjekker robots.txt
→ Ikke blokeret
→ Crawler normalt → indekseres → Kan dukke op i søgeresultaterne

Robots.txt og sitemap: et supplerende par

Fil	Rolle
Sitemap	"Her er listen over sider, jeg ønsker Google skal kende til"
Robots.txt	"Her er de sider, jeg ikke ønsker Google skal crawle"

Disse to filer modsiger ikke hinanden – de arbejder sammen. Sitemap viser vejen, robots.txt sætter barrierer. Ved at kombinere dem korrekt kontrollerer du, hvad Google ser og ignorerer på dit website.

Hvad bruges robots.txt til? 4 almindelige tilfælde

1. Skjul administrations- og interne sider fra Google

Admin-sider, backend CMS-sider, staging-sider, test-sider – alt dette bør ikke vises på Google. Robots.txt hjælper dig med at sige til Google: "Gå ikke hertil."

Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/

2. Undgå spild af "crawl budget"

Google crawler ikke uendeligt. Hvert website har et "crawl budget" – antallet af sider, som Googlebot vil gennemgå under hvert besøg. Hvis websitet har mange uvigtige sider (interne søgesider, filter-sider, sideinddelingssider), kan Googlebot blive optaget af at crawle disse sider i stedet for vigtige servicesider eller blogindlæg.

Disallow: /search?
Disallow: /tag/
Disallow: /page/

💡 Crawl budget er primært vigtigt for store websites (tusindvis af sider). Små virksomhedswebsites behøver normalt ikke bekymre sig for meget, men det er stadig god praksis at holde robots.txt ryddelig.

3. Bloker duplikeret indhold

Hvis websitet har flere URL'er, der fører til det samme indhold (f.eks. URL'er med tracking-parametre ?utm_source=facebook eller print-versioner ?print=true), kan du blokere disse duplikerede URL'er:

Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=

4. Vis vejen til sitemap

Robots.txt er det første sted, Googlebot tjekker, når den ankommer til websitet. Ved at placere sitemap-linket her hjælper du Google med at finde sitemappet hurtigere – selv hvis du ikke har sendt det via Search Console.

Sitemap: https://example.com/sitemap.xml

Hvornår skal virksomheder bekymre sig om robots.txt?

Ikke altid er det nødvendigt at redigere robots.txt. Men der er tidspunkter, hvor det er obligatorisk at tjekke filen:

Når websitet lanceres (go-live)

Dette er det vigtigste tidspunkt. Mange websites bliver fuldstændig blokeret fra crawling, fordi udviklerne glemmer at fjerne linjen Disallow: / – den linje, de satte under staging for at forhindre Google i at indeksere den ufærdige version.

Tjek ved go-live:

Kategori	Kontrolmetode
Robots.txt filen eksisterer	Åbn https://domænenavn.dk/robots.txt i browseren
Hele websitet er ikke blokeret	Sørg for, at der IKKE er en linje Disallow: /
Sitemap er angivet	Sørg for, at der ER en linje Sitemap: https://domænenavn.dk/sitemap.xml
Vigtige sider er ikke blokeret	Tjek, at servicesider, blogindlæg og kontaktsider ikke er angivet i Disallow

✅ Når websitet ikke bliver indekseret af Google efter flere uger

Hvis du har et sitemap, har sendt det via Search Console, men Google indekserer det stadig ikke – er robots.txt den første mistænkte, der skal undersøges.

Når der tilføjes områder, der skal skjules (medlemsområder, interne sider)

Hvis websitet tilføjer kontoadministrationssider, medlemsområder eller interne sider – skal du opdatere robots.txt for at blokere disse områder.

Ved skift af websiteplatform eller redesign

Hver platform (WordPress, Webflow, custom kode) skaber en forskellig URL-struktur. Ved migrering kan den gamle robots.txt forkert blokere nye sider eller undlade at blokere sider, der skal blokeres.

Når Search Console rapporterer fejl "Blocked by robots.txt"

Google Search Console har en Indexing-rapport, der viser, hvilke sider der er blokeret af robots.txt. Hvis du ser vigtige sider, der er blokeret – er det tid til at rette filen med det samme.

5 almindelige robots.txt-fejl og hvordan man løser dem

Fejl 1: Blokerer hele websitet – den mest alvorlige fejl

Symptom: Ingen sider bliver indekseret af Google. Search Console rapporterer mange sider som "Blocked by robots.txt".

Årsag: Robots.txt-filen indeholder:

User-agent: 
Disallow: /

Disse to linjer betyder: "Forbyd alle bots at tilgå enhver side." Dette sker ofte, når udviklere sætter denne regel op under staging og glemmer at fjerne den ved go-live.

Løsning: Ret til:

User-agent: *
Disallow:

Sitemap: https://domænenavn.dk/sitemap.xml

Disallow: (intet efter kolon) = tillad crawling af alt.

⚠️ Dette er fejl nummer 1, vi ser på nye virksomhedswebsites. Efter rettelsen kan det tage Google flere dage til uger at crawle igen. Send sitemappet igen via Search Console for at fremskynde processen.

---

Fejl 2: Blokerer CSS og JavaScript

Symptom: Websitet vises normalt i browseren, men når du bruger "URL Inspection"-værktøjet i Search Console, ser Google, at siden er ødelagt i layout eller tom for indhold.

Årsag: Robots.txt blokerer mapperne, der indeholder CSS og JS:

Disallow: /wp-content/
Disallow: /wp-includes/

Google skal læse CSS og JS for at forstå, hvordan siden ser ud (kaldet "rendering"). Hvis det er blokeret, kan Google ikke rendere siden – den forstår ikke indholdet – hvilket påvirker rangeringen.

Løsning:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/

📝 Note til udviklere: Siden 2014 har Google klart anbefalet: undlad at blokere CSS, JS og billeder i robots.txt. Googlebot behøver disse ressourcer for at rendere siden korrekt. Brug URL Inspection-værktøjet i Search Console til at tjekke, hvordan Google renderer din side.

Fejl 3: Blokerer vigtige sider forkert

Symptom: Servicesider, produktsider eller blogindlæg vises ikke på Google – selvom sitemappet indeholder dem.

Årsag: Reglen i robots.txt er for bred. For eksempel:

Disallow: /dich-vu

Denne linje blokerer ikke kun /dich-vu/, men også /dich-vu-thiet-ke-web/, /dich-vu-seo/ og enhver URL, der starter med /dich-vu.

Løsning: Tilføj en / i slutningen af stien for at blokere mappen præcist:

Disallow: /dich-vu-noi-bo/

Eller brug Allow til at beskytte nødvendige sider:

Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/

📝 Note til udviklere: Rækkefølgen af Allow og Disallow har betydning. Googlebot bruger den mest specifikke sti (most specific path). Hvis de er lige lange, prioriteres Allow over Disallow. Test altid med Robots Testing Tool i Search Console, før du implementerer.

Fejl 4: Ingen robots.txt-fil

Symptom: Indtastning af domænenavn.dk/robots.txt → returnerer en 404-fejl.

Årsag: Websitet er lavet manuelt, og udvikleren har ikke oprettet filen. Eller filen blev fejlagtigt slettet under implementering.

Indvirkning: Ikke så alvorlig som fejl 1 – hvis der ikke er en robots.txt, crawler Google alt som standard. Men det betyder:

• Google vil crawle admin-sider, test-sider og interne sider
• Du har ingen måde at vise vejen til sitemappet via robots.txt
• Grundlæggende kontrol mangler

Løsning: Opret en robots.txt-fil i rodmappen. Minimum indhold:

User-agent: *
Disallow: /admin/
Disallow: /search?

Sitemap: https://domænenavn.dk/sitemap.xml

---

Fejl 5: Brug af robots.txt til at skjule sider fra Google (misforstået formål)

Symptom: Du blokerer en side med Disallow, men siden vises stadig på Google – dog uden indholdssnippet.

Årsag: Robots.txt blokerer crawling, ikke indeksering. Hvis siden allerede var indekseret, eller der er et backlink fra et andet website til den, kan Google beholde URL'en i søgeresultaterne – den viser bare ikke indholdet.

Korrekt løsning:

Mål	Hvad skal bruges
Ønsker ikke, at Google crawler (gennemgår)	Disallow i robots.txt
Ønsker ikke, at Google indekserer (viser)	tag i HTML
Ønsker ikke begge dele	Brug noindex i HTML (og bloker ikke i robots.txt)

⚠️ Dette er det punkt, der oftest misforstås: Hvis du både blokerer crawling (robots.txt) og angiver noindex (HTML), vil Google ikke se noindex-tagget, fordi den ikke crawler siden – og siden kan stadig blive indekseret. Løsning: Brug noindex i HTML og fjern Disallow-reglen for siden i robots.txt.

Robots.txt-skabelon til virksomhedswebsites

Her er en skabelon til robots.txt, der passer til de fleste SMB-virksomhedswebsites:

# =============================================
# Robots.txt for virksomhedswebsites
# Opdateret: 2026-04-20
# =============================================

# Gælder for alle bots
User-agent: *

# Bloker administrations- og interne områder
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/

# Bloker interne søgesider (undgå spild af crawl budget)
Disallow: /search?
Disallow: /*?s=

# Bloker URL'er med tracking-parametre (undgå duplikeret indhold)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=

# Bloker kurv / betalingssider (hvis relevant)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

# Tillad CSS, JS, billeder (Google skal bruge dem til at rendere siden)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/

# Vis vejen til sitemap
Sitemap: https://domænenavn.dk/sitemap.xml

📝 Note til udviklere: Robots.txt-filen skal ligge i rod-domænet — https://example.com/robots.txt. Ikke i /blog/robots.txt eller andre undermapper. Hvert subdomæne kræver sin egen robots.txt (f.eks. blog.example.com/robots.txt er adskilt fra example.com/robots.txt).

Sådan tjekker du din websites robots.txt

Metode 1: Tjek direkte i browseren

Indtast https://dit-domænenavn.dk/robots.txt i adressefeltet. Du vil se filens indhold som tekst. Hvis du ser en 404-fejl – så har websitet endnu ikke en robots.txt.

Metode 2: Brug Google Search Console

1. Log ind på Google Search Console
2. Gå til Indstillinger → Crawling → robots.txt
3. Se robots.txt-filen, som Google læser
4. Tjek, om en specifik URL er blokeret

Metode 3: Tjek i Indexing-rapporten

I Search Console → Sider (eller Indexing) → Find sektionen "Blocked by robots.txt". Hvis der er vigtige sider på denne liste, skal du rette robots.txt med det samme.

💡 Det anbefales at tjekke robots.txt mindst hver tredje måned eller hver gang websitet gennemgår større ændringer (tilføjelse af sider, ændring af struktur, migrering af platform).

Oversigt: Hvad robots.txt bør blokere, og hvad den ikke bør blokere

✅ BØR blokere	❌ BØR IKKE blokere
Administrationssider (/admin/, /wp-admin/)	Forside, servicesider, kontaktsider
Staging / test-sider	Blogindlæg, artikler
Interne søgesider (/search?)	CSS- og JavaScript-filer
URL'er med tracking-parametre (?utm_, ?fbclid=)	Billeder (Google Images giver også trafik)
Kurv, betaling, personlige kontosider	Sitemap
Duplikeret indholdssider (filter, sortering, sideinddeling)	FAQ-sider, case studies

---

Ofte stillede spørgsmål om robots.txt

Hvad er forskellen på robots.txt og sitemap?

Sitemap siger: "Dette er de sider, jeg ønsker Google skal kende til." Robots.txt siger: "Dette er de sider, jeg ikke ønsker Google skal crawle." De to filer supplerer hinanden – sitemap viser vejen ind, robots.txt sætter barrierer.

Hvis der ikke er en robots.txt, kan Google så crawle websitet?

Ja. Uden en robots.txt crawler Google alt som standard – inklusive sider, du ikke ønsker. Det er derfor, det er en god idé at have filen.

Jeg bruger WordPress, hvor finder jeg robots.txt?

WordPress genererer en virtuel robots.txt. Hvis du bruger et SEO-plugin som Yoast eller Rank Math, kan du redigere robots.txt direkte i plugin'et uden at skulle tilgå serveren.

Påvirker robots.txt websitehastigheden?

Nej. Filen er kun et par KB stor. Den påvirker ikke sidens indlæsningshastighed.

Jeg har blokeret en side med robots.txt, men den vises stadig på Google?

Fordi robots.txt kun blokerer crawling, ikke indeksering. Hvis du ønsker, at siden skal forsvinde helt fra Google, skal du bruge tag i HTML – og ikke blokere siden i robots.txt (så Google kan læse noindex-tagget).

Efter at have rettet robots.txt, hvor lang tid tager det, før Google opdaterer?

Google tjekker normalt robots.txt igen inden for 24-48 timer. Du kan gå til Search Console → Indstillinger → Crawling for at bede Google om at tjekke igen tidligere.

Konklusion

Robots.txt er en lille fil – ofte kun et par linjer – men den påvirker direkte, om Google kan se dit website eller ej.

Hvad du skal huske:

1. Robots.txt er "Adgang forbudt"-skiltet: det fortæller Google, hvilke sider den ikke må crawle
2. Tjek med det samme, når websitet lanceres: fejlen med at blokere hele websitet er almindelig og alvorlig
3. Brug ikke robots.txt til at skjule sider fra Google: det blokerer crawling, ikke indeksering
4. Tillad altid CSS og JS: Google skal bruge dem til at rendere siden for at forstå indholdet
5. Kombiner med sitemap og Search Console: for fuld kontrol over, hvad Google crawler og indekserer på websitet

Tjek dit websites platform

Robots.txt er kun en af mange tekniske faktorer, der påvirker SEO. Hvis du tænker: "Er mit website konfigureret korrekt?" – ligger svaret i den platform, du bruger.

GTG CRM hjælper dig med at få et website med en korrekt robots.txt, et automatisk sitemap og en teknisk struktur, der er klar til Google – du behøver ikke bekymre dig om at redigere individuelle filer eller kodelinjer.