Hvad er Robots.txt og hvornår skal virksomheder bekymre sig om det?

Du har et sitemap, du har sendt det til Google, og din hjemmeside er begyndt at blive indekseret. Men en dag opdager du, at administrationssiden (admin), den interne betalingsside eller staging-siden på din hjemmeside også vises på Google. Kunder, der søger efter firmanavnet, ser endda den ufærdige testside.

Eller omvendt: Du udgiver et nyt blogindlæg, venter to uger, men det vises stadig ikke på Google. Du spørger den tekniske enhed, og de siger: "Robots.txt-filen blokerer Google fra at crawle hele hjemmesiden."

Begge situationer involverer en lille fil, som webadministratorer sjældent lægger mærke til: robots.txt.

Denne artikel vil forklare, hvad robots.txt er, hvordan det fungerer, hvornår du skal redigere det, og almindelige fejl, som virksomheder skal undgå – alt sammen på et enkelt sprog og med praktiske eksempler.

Hvad er robots.txt? En forklaring til webadministratorer

Hvis sitemap er et bygningsdiagram – der fortæller Google, hvilke rum der findes – så er robots.txt et "Adgang forbudt"-skilt – der fortæller Google, hvilke rum der ikke må tilgås.

Teknisk set: robots.txt er en lille tekstfil, der ligger i rodmappen på din hjemmeside (f.eks. https://example.com/robots.txt). Denne fil indeholder regler, der fortæller søgemaskinebots – som Googlebot –:

• Hvilke sider der må crawles (gennemgås)
• Hvilke sider der ikke må crawles
• Hvor sitemapet er placeret

Du kan se robots.txt for enhver hjemmeside ved at skrive: domænenavn.dk/robots.txt i din browser.

💡 Vigtigt: robots.txt er kun en høflig anmodning, ikke et absolut forbud. Pålidelige bots som Googlebot vil overholde det, men dårlige bots (spam, scrapere) kan ignorere det. Hvis du har brug for reel sikkerhed, skal du bruge adgangskoder eller en firewall – stol ikke på robots.txt.

Hvordan ser en robots.txt-fil ud?

Du behøver ikke at skrive denne fil fra bunden. Men for at forstå den, når du ser på den, her er en simpel robots.txt-fil:

User-agent: *
Disallow: /admin/
Disallow: /betaling/
Disallow: /staging/
Allow: /

Sitemap: https://example.com/sitemap.xml

Forklaring af hver linje:

Linje	Betydning
User-agent: *	Gælder for alle bots (Google, Bing osv.)
Disallow: /admin/	Forbyder bots at tilgå mappen /admin/
Disallow: /betaling/	Forbyder bots at tilgå betalingssiden
Disallow: /staging/	Forbyder bots at tilgå staging-versionen
Allow: /	Tillader bots at crawle resten af siden
Sitemap: https://...	Fortæller bots, hvor sitemapet er placeret

Her er et mere komplekst eksempel – velegnet til en virksomheds hjemmeside med en blog, servicesider og et administrationsområde:

# Tillad alle bots at crawle offentligt indhold
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /kurv/
Disallow: /checkout/
Disallow: /min-konto/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_

# Tillad Googlebot at crawle CSS og JS (nødvendigt for at gengive siden)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/

Sitemap: https://example.com/sitemap.xml

📝 Note til udviklere: Tegnet `` i stien er et wildcard – `/?utm_` betyder at blokere enhver URL, der indeholder parameteren `?utm_`. Tegnet `$` i slutningen af stien bruges til at matche præcis slutningen af URL'en. F.eks.: `Disallow: /*.pdf$` vil blokere alle PDF-filer.

Hvordan fungerer robots.txt i SEO-processen?

For at forstå robots.txt's plads, lad os se på processen for, hvordan Google inkluderer en hjemmeside i søgeresultaterne:

Crawl → Index → Rank
(Genneemgang) (Lagring) (Rangering)

Robots.txt fungerer i det første trin – Crawl.

Før Googlebot begynder at gennemgå en hvilken som helst side på din hjemmeside, kontrollerer den først robots.txt. Hvis en URL er angivet i Disallow, vil Googlebot ignorere siden – den vil ikke blive crawlet eller læst indholdet.

Googlebot vil crawle https://example.com/admin/settings
→ Tjekker robots.txt
→ Ser Disallow: /admin/
→ Ignorerer, crawler ikke

Googlebot vil crawle https://example.com/service/
→ Tjekker robots.txt
→ Blokeres ikke
→ Crawler normalt → Indekseres → Kan vises i søgeresultater

Robots.txt og sitemap: et supplerende par

Fil	Rolle
Sitemap	"Dette er listen over sider, jeg ønsker Google skal kende til"
Robots.txt	"Dette er sider, jeg ikke ønsker Google skal crawle"

Disse to filer modsiger ikke hinanden – de arbejder sammen. Sitemapet viser vejen, robots.txt sætter barriererne op. Ved at kombinere dem korrekt kan du kontrollere, hvad Google ser og ignorerer på din hjemmeside.

Hvad bruges robots.txt til? 4 almindelige scenarier

1. Skjul administrations- og interne sider for Google

Admin-sider, CMS backend-sider, staging-sider, test-sider – ingen af dem bør vises på Google. Robots.txt hjælper dig med at sige til Google: "Gå ikke hertil."

Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/

2. Undgå spild af "crawl budget"

Google crawler ikke uendeligt. Hver hjemmeside har et "crawl budget" – antallet af sider, som Googlebot vil gennemgå under hvert besøg. Hvis hjemmesiden har mange uvigtige sider (interne søgesider, filter-sider, pagineringssider), kan Googlebot blive optaget af at crawle disse sider i stedet for vigtige service- eller blogindlægssider.

Disallow: /search?
Disallow: /tag/
Disallow: /side/

💡 Crawl budget er primært vigtigt for store hjemmesider (tusindvis af sider). Små virksomheders hjemmesider behøver sjældent bekymre sig så meget, men at holde robots.txt ryddelig er stadig en god vane.

3. Bloker duplikeret indhold

Hvis din hjemmeside har flere URL'er, der fører til det samme indhold (f.eks. URL'er med tracking-parametre ?utm_source=facebook eller en print-version ?print=true), kan du blokere disse duplikererede URL'er:

Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=

4. Angiv placeringen af sitemap

Robots.txt er det første sted, Googlebot tjekker, når den besøger en hjemmeside. Ved at angive sitemapets sti her, hjælper du Google med at finde sitemapet hurtigere – selv hvis du ikke har sendt det via Search Console.

Sitemap: https://example.com/sitemap.xml

Hvornår skal virksomheder bekymre sig om robots.txt?

Du behøver ikke altid at redigere robots.txt. Men der er tidspunkter, hvor det er obligatorisk at tjekke filen:

Når hjemmesiden lanceres (go-live)

Dette er det vigtigste tidspunkt. Mange hjemmesider bliver fuldstændig blokeret fra at blive crawlet, fordi udviklerne glemmer at fjerne linjen Disallow: / – den linje, de satte under staging for at forhindre Google i at indeksere den ufærdige version.

Tjek ved lancering:

Kategori	Kontrolmetode
Robots.txt-filen eksisterer	Åbn https://domænenavn.dk/robots.txt i browseren
Hele hjemmesiden er ikke blokeret	Sørg for, at der IKKE er en linje Disallow: /
Sitemap er angivet	Sørg for, at der ER en linje Sitemap: https://domænenavn.dk/sitemap.xml
Vigtige sider er ikke blokeret	Tjek, at servicesider, blog, kontaktsider ikke er angivet i Disallow

✅ Når hjemmesiden ikke indekseres af Google efter flere uger

Hvis du har et sitemap, har sendt det via Search Console, men Google indekserer det stadig ikke – så er robots.txt den første mistænkte, der skal tjekkes.

Når der tilføjes områder, der skal skjules (medlemsområder, interne sider)

Hvis din hjemmeside tilføjer kontoadministrationssider, medlemsområder eller interne sider – opdater robots.txt for at blokere disse områder.

Ved skift af hjemmesideplatform eller redesign

Hver platform (WordPress, Webflow, custom kode) skaber en forskellig URL-struktur. Ved migrering kan den gamle robots.txt fejlagtigt blokere nye sider eller undlade at blokere sider, der skal blokeres.

Når Search Console rapporterer fejl "Blokeret af robots.txt"

Google Search Console har en Indekseringsrapport, der viser, hvilke sider der er blokeret af robots.txt. Hvis du ser, at en vigtig side er blokeret – er det tid til at rette filen med det samme.

5 almindelige robots.txt-fejl og hvordan man løser dem

Fejl 1: Blokerer hele hjemmesiden – den mest alvorlige fejl

Symptom: Ingen sider bliver indekseret af Google. Search Console rapporterer mange sider som "Blokeret af robots.txt".

Årsag: Robots.txt-filen indeholder:

User-agent: 
Disallow: /

Disse to linjer betyder: "Forbyd alle bots at tilgå enhver side." Dette sker ofte, når udviklere angiver denne regel under staging og glemmer at fjerne den ved lancering.

Løsning: Ret til:

User-agent: *
Disallow:

Sitemap: https://domænenavn.dk/sitemap.xml

Disallow: (intet efter kolonet) = tillad crawling af alt.

⚠️ Dette er fejl nr. 1, vi ser på nye virksomheders hjemmesider. Efter rettelsen kan det tage et par dage til uger for Google at crawle igen. Send dit sitemap igen via Search Console for at fremskynde processen.

Fejl 2: Blokerer CSS og JavaScript

Symptom: Hjemmesiden vises normalt i browseren, men når du bruger "URL Inspection"-værktøjet i Search Console, ser Google, at siden er ødelagt eller tom for indhold.

Årsag: Robots.txt blokerer mapperne, der indeholder CSS og JS:

Disallow: /wp-content/
Disallow: /wp-includes/

Google skal læse CSS og JS for at forstå, hvordan siden ser ud (kaldet "rendering"). Hvis det er blokeret, kan Google ikke rendere siden → forstår ikke indholdet → påvirker rangeringen.

Løsning:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/

📝 Note til udviklere: Siden 2014 har Google klart anbefalet: undlad at blokere CSS, JS og billeder i robots.txt. Googlebot har brug for disse ressourcer for at rendere siden korrekt. Brug URL Inspection-værktøjet i Search Console for at tjekke, hvordan Google render din side.

Fejl 3: Blokerer forkert vigtige sider

Symptom: Servicesider, produktsider eller blogindlæg vises ikke på Google – selvom sitemapet inkluderer dem.

Årsag: Reglen i robots.txt er for bred. F.eks.:

Disallow: /service

Denne linje blokerer ikke kun /service/, men også /service-design-web/, /service-seo/ og enhver URL, der starter med /service.

Løsning: Tilføj et / i slutningen af stien for at blokere mappen præcist:

Disallow: /intern-service/

Eller brug Allow til at beskytte en nødvendig side:

Disallow: /intern-service/
Allow: /service/
Allow: /service-design-web/

📝 Note til udviklere: Rækkefølgen af `Allow` og `Disallow` har betydning. Googlebot bruger den mest specifikke sti (most specific path). Hvis de er lige lange, foretrækkes `Allow` frem for `Disallow`. Test altid med [Robots Testing Tool](https://support.google.com/webmasters/answer/6062598) i Search Console, før du implementerer.

Fejl 4: Ingen robots.txt-fil

Symptom: Skriv domænenavn.dk/robots.txt → returnerer 404-fejl.

Årsag: Hjemmesiden er lavet manuelt, og udvikleren har ikke oprettet filen. Eller filen blev ved en fejl slettet ved implementering.

Påvirkning: Mindre alvorligt end fejl 1 – hvis der ikke er robots.txt, crawler Google alt som standard. Men det betyder:

• Google vil crawle admin-sider, test-sider og interne sider
• Du har ingen måde at angive placeringen af dit sitemap via robots.txt
• Grundlæggende kontrol mangler

Løsning: Opret en robots.txt-fil i rodmappen. Minimalt indhold:

User-agent: *
Disallow: /admin/
Disallow: /search?

Sitemap: https://domænenavn.dk/sitemap.xml

Fejl 5: Brug af robots.txt til at skjule sider fra Google (misforståelse af formål)

Symptom: Du blokerer en side med Disallow, men siden vises stadig på Google – selvom der ikke vises et indholdssnippet.

Årsag: Robots.txt blokerer crawling, ikke indeksering. Hvis siden allerede var indekseret, eller hvis der er et backlink fra en anden hjemmeside til den, kan Google beholde URL'en i søgeresultaterne – den viser bare ikke indholdet.

Korrekt løsning:

Mål	Hvad skal bruges
Ønsker ikke, at Google crawler (gennemgår)	Disallow i robots.txt
Ønsker ikke, at Google indekserer (viser)	-tagget i HTML'en
Ønsker ingen af delene	Brug noindex i HTML'en (og bloker ikke i robots.txt)

⚠️ Dette er det mest misforståede punkt: Hvis du både blokerer crawling (robots.txt) og angiver `noindex` (HTML), vil Google ikke se noindex-tagget, fordi den ikke crawler siden – og siden kan stadig blive indekseret. Løsning: Brug `noindex` i HTML'en og fjern `Disallow`-reglen for den pågældende side i robots.txt.

Robots.txt-skabelon til virksomheders hjemmesider

Her er en robots.txt-skabelon, der passer til de fleste små og mellemstore virksomheders hjemmesider:

# =============================================
# Robots.txt for virksomheders hjemmeside
# Opdateret: 2026-04-20
# =============================================

# Gælder for alle bots
User-agent: *

# Bloker administrations- og interne områder
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/

# Bloker interne søgesider (undgå spild af crawl budget)
Disallow: /search?
Disallow: /*?s=

# Bloker URL'er med tracking-parametre (undgå duplikeret indhold)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=

# Bloker indkøbskurv / betalingssider (hvis relevant)
Disallow: /cart/
Disallow: /checkout/
Disallow: /min-konto/

# Tillad CSS, JS, billeder (Google har brug for dem for at rendere siden)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/

# Angiv placering af sitemap
Sitemap: https://domænenavn.dk/sitemap.xml

📝 Note til udviklere: Robots.txt-filen skal ligge i rod-domænet – `https://example.com/robots.txt`. Ikke i `/blog/robots.txt` eller en anden undermappe. Hvert subdomæne kræver sin egen robots.txt (f.eks. er `blog.example.com/robots.txt` adskilt fra `example.com/robots.txt`).

Sådan tjekker du din robots.txt

Metode 1: Direkte tjek i browseren

Indtast https://dit-domæne.dk/robots.txt i adresselinjen. Du vil se filens indhold i tekstformat. Hvis du får en 404-fejl – mangler din hjemmeside robots.txt.

Metode 2: Brug Google Search Console

1. Log ind på Google Search Console
2. Gå til Indstillinger → Crawling → robots.txt
3. Se den robots.txt-fil, som Google læser
4. Tjek, om en specifik URL er blokeret

Metode 3: Tjek i rapporten Indeksering

I Search Console → Sider (eller Indeksering) → Find sektionen "Blokeret af robots.txt". Hvis der er vigtige sider i denne liste, skal du rette robots.txt med det samme.

💡 Det er en god idé at tjekke robots.txt mindst hvert kvartal eller hver gang der foretages større ændringer på hjemmesiden (tilføjelse af sider, ændring af struktur, migrering af platform).

Oversigt: Hvad robots.txt bør blokere og ikke blokere

✅ BØR blokeres	❌ BØR IKKE blokeres
Administrationssider (/admin/, /wp-admin/)	Forside, servicesider, kontaktsider
Staging / test-sider	Blogindlæg, artikler
Interne søgesider (/search?)	CSS- og JavaScript-filer
URL'er med tracking-parametre (?utm_, ?fbclid=)	Billeder (Google Images giver også trafik)
Indkøbskurv, betalingssider, personlige kontosider	Sitemap
Sider med duplikeret indhold (filter, sortering, paginering)	FAQ-sider, case studies

Ofte stillede spørgsmål om robots.txt

Hvad er forskellen på robots.txt og sitemap?

Sitemap siger: "Dette er de sider, jeg vil have Google til at kende." Robots.txt siger: "Dette er de sider, jeg ikke vil have Google til at gennemgå." De to filer supplerer hinanden – sitemapet viser vejen ind, robots.txt sætter barriererne.

Hvis der ikke er en robots.txt, kan Google så crawle hjemmesiden?

Ja. Uden robots.txt crawler Google alt som standard – inklusiv sider du ikke ønsker. Derfor er det en god idé at have en fil.

Jeg bruger WordPress, hvor ligger robots.txt?

WordPress opretter en virtuel robots.txt. Hvis du bruger SEO-plugins som Yoast eller Rank Math, kan du redigere robots.txt direkte i plugin'et uden at skulle tilgå serveren.

Påvirker robots.txt hjemmesidens hastighed?

Nej. Filen er kun få KB stor. Den påvirker ikke sidens indlæsningshastighed.

Jeg har blokeret en side med robots.txt, men den vises stadig på Google?

Fordi robots.txt kun blokerer crawling, ikke indeksering. Hvis du vil have siden helt væk fra Google, skal du bruge `<meta name="robots" content="noindex">-tagget i HTML'en – og ikke blokere siden i robots.txt (så Google kan læse noindex-tagget).

Hvor lang tid tager det, før Google opdaterer efter en ændring i robots.txt?

Google tjekker normalt robots.txt igen inden for 24-48 timer. Du kan gå til Search Console → Indstillinger → Crawling for at bede Google om at tjekke igen hurtigere.

Konklusion

Robots.txt er en lille fil – ofte kun få linjer – men den har en direkte indflydelse på, om Google kan se din hjemmeside.

Ting du skal huske:

1. Robots.txt er et "Adgang forbudt"-skilt: det fortæller Google, hvilke sider der ikke må gennemgås.
2. Tjek straks ved hjemmesidens lancering: fejl, der blokerer hele hjemmesiden, er almindelige og alvorlige.
3. Brug ikke robots.txt til at skjule sider for Google: det blokerer crawling, ikke indeksering.
4. Tillad altid CSS og JS: Google har brug for dem for at kunne rendere siden og forstå indholdet.
5. Kombiner med sitemap og Search Console: for fuld kontrol over, hvordan Google crawler og indekserer din hjemmeside.

Tjek din hjemmesides platform

Robots.txt er kun én af mange tekniske faktorer, der påvirker SEO. Hvis du undrer dig over: "Er min hjemmeside sat korrekt op?" – ligger svaret i den platform, du bruger.

GTG CRM hjælper dig med at få en hjemmeside med standard robots.txt, automatisk sitemap og en teknisk struktur, der er klar til Google – du behøver ikke bekymre dig om at redigere individuelle filer og kodelinjer.