Hvad er Robots.txt, og hvornår skal virksomheder bekymre sig om denne fil?

Hvad er en robots.txt-fil, og hvornår skal virksomheder bekymre sig om den?

Du har en sitemap, du har sendt den til Google, og dit website begynder at blive indekseret. Men en dag opdager du, at administrationssiden (admin), interne betalingssider eller staging-sider på dit website også vises på Google. Kunderne indtaster firmanavnet – og ser endda en ufuldstændig testside.

Eller omvendt: Du poster et nyt blogindlæg, venter to uger, men ser det stadig ikke på Google. Du spørger det tekniske team, og de siger: "Robots.txt-filen blokerer Google fra at crawle hele websitet."

Begge situationer involverer en lille fil, som færre webadministratorer bemærker: robots.txt.

Denne artikel vil forklare, hvad robots.txt er, hvordan det fungerer, hvornår du skal redigere det, og almindelige fejl, som virksomheder skal undgå – alt sammen i et simpelt sprog med praktiske eksempler.

Hvad er robots.txt? En forklaring til webadministratorer

Hvis sitemap er bygningens plantegning – der fortæller Google, hvilke rum der er – så er robots.txt et "Adgang forbudt"-skilt, der fortæller Google, hvilke rum ikke må tilgås.

Teknisk set er robots.txt en lille tekstfil, der ligger i rodmappen på et website (f.eks. https://example.com/robots.txt). Denne fil indeholder regler, der fortæller søgemaskinernes bots – som Googlebot –:

• Hvilke sider der må crawles (gennemgås)
• Hvilke sider der ikke må crawles
• Hvor sitemappet er placeret

Du kan se robots.txt for ethvert website ved at indtaste: domænenavn.dk/robots.txt i din browser.

💡 Vigtigt: robots.txt er kun en høflig anmodning, ikke en absolut forbud. Ansvarsfulde bots som Googlebot vil overholde den, men dårlige bots (spam, scrapere) kan ignorere den. Hvis du har brug for reel sikkerhed, skal du bruge adgangskoder eller en firewall – stol ikke kun på robots.txt.

Hvordan ser en robots.txt-fil ud?

Du behøver ikke at skrive denne fil fra bunden. Men for at forstå den, når du ser på den, her er en simpel robots.txt-fil:

User-agent: *
Disallow: /admin/
Disallow: /thanh-toan/
Disallow: /staging/
Allow: /

Sitemap: https://example.com/sitemap.xml

Forklaring af hver linje:

Linje	Betydning
User-agent: *	Gælder for alle bots (Google, Bing osv.)
Disallow: /admin/	Tillader ikke bots at gå ind i mappen /admin/
Disallow: /thanh-toan/	Tillader ikke bots at gå ind på betalingssiden
Disallow: /staging/	Tillader ikke bots at gå ind på staging-versionen
Allow: /	Tillader bots at crawle resten af websitet
Sitemap: https://...	Fortæller bots, hvor sitemappet er placeret

Her er et mere komplekst eksempel – velegnet til et virksomhedswebsite med en blog, en serviceside og et administrationsområde:

# Tillad alle bots at crawle offentligt indhold
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_

# Tillad Googlebot at crawle CSS og JS (nødvendigt for at rendere siden)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/

Sitemap: https://example.com/sitemap.xml

📝 Note til udviklere: Tegnet * i en sti er et wildcard – /*?utm_ betyder, at alle URL'er, der indeholder parameteren ?utm_, blokeres. Tegnet $ i slutningen af en sti bruges til at matche præcis slutningen af URL'en. For eksempel: Disallow: /*.pdf$ vil blokere alle PDF-filer.

---

Hvordan fungerer robots.txt i SEO-processen?

For at forstå placeringen af robots.txt, lad os se på processen, hvor Google inkluderer et websted i søgeresultaterne:

Crawl → Index → Rank
(Gennemse)   (Indeksér)   (Rangér)

Robots.txt fungerer i det første trin - Crawl.

Før Googlebot begynder at gennemgå nogen sider på dit websted, tjekker den robots.txt først. Hvis en URL er angivet i Disallow, ignorerer Googlebot siden - den gennemgår den ikke, den læser ikke indholdet.

Googlebot ønsker at gennemgå https://example.com/admin/settings
→ Tjekker robots.txt
→ Finder Disallow: /admin/
→ Ignorerer, crawler ikke

Googlebot ønsker at gennemgå https://example.com/dich-vu/
→ Tjekker robots.txt
→ Ikke blokeret
→ Crawler normalt → Indeksér → Kan vises i søgeresultater

Robots.txt og sitemap: et supplerende par

Fil	Rolle
Sitemap	"Dette er listen over sider, jeg ønsker Google skal kende"
Robots.txt	"Dette er sider, jeg ikke ønsker Google skal gennemgå"

Disse to filer modsiger ikke hinanden - de arbejder sammen. Sitemap viser vejen, robots.txt sætter barrierer. Ved at kombinere dem korrekt kan du kontrollere, hvad Google ser og ignorerer på dit websted.

Hvad bruges robots.txt til? 4 almindelige tilfælde

1. Skjul administrations- og interne sider fra Google

Admin-sider, backend CMS-sider, staging-sider, test-sider - ingen af dem bør vises i Google. Robots.txt hjælper dig med at fortælle Google: "Gå ikke herind."

Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/

2. Undgå spild af "crawl budget"

Google crawler ikke uendeligt. Hvert websted har et "crawl budget" - antallet af sider, som Googlebot vil gennemgå under hvert besøg. Hvis webstedet har mange uvigtige sider (interne søgesider, filter-sider, pagineringssider), kan Googlebot bruge tid på at gennemgå disse i stedet for vigtige tjenestesider eller blogindlæg.

Disallow: /search?
Disallow: /tag/
Disallow: /page/

💡 Crawl budget er primært vigtigt for store websteder (tusindvis af sider). Små virksomhedswebsteder behøver normalt ikke bekymre sig for meget, men at holde robots.txt ryddelig er stadig en god vane.

3. Bloker duplikeret indhold

Hvis dit websted har flere URL'er, der fører til det samme indhold (f.eks. URL'er med tracking-parametre ?utm_source=facebook eller printversioner ?print=true), kan du blokere disse duplikat-URL'er:

Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=

4. Angiv placeringen af sitemap

Robots.txt er det første sted, Googlebot tjekker, når det besøger et websted. Ved at placere sitemap-stien her hjælper du Google med at finde sitemappet hurtigere - selvom du endnu ikke har indsendt det via Search Console.

Sitemap: https://example.com/sitemap.xml

Hvornår skal virksomheder bekymre sig om robots.txt?

Du behøver ikke altid at redigere robots.txt. Men der er tidspunkter, hvor det er obligatorisk at tjekke denne fil:

Når et websted netop er lanceret (go-live)

Dette er det vigtigste tidspunkt. Mange websteder bliver fuldstændig blokeret fra at blive crawlet, fordi udviklerne glemmer at fjerne linjen Disallow: / - den linje, de placerede under staging for at forhindre Google i at indeksere den ufærdige version.

Tjek ved go-live:

Kategori	Sådan tjekker du
Robots.txt fil eksisterer	Åbn https://domæne.dk/robots.txt i browseren
Blokerer ikke hele hjemmesiden	Sørg for at der IKKE er linjen Disallow: /
Har sitemap erklæring	Sørg for at der ER linjen Sitemap: https://domæne.dk/sitemap.xml
Vigtige sider er ikke blokeret	Tjek at servicesider, blogindlæg, kontaktsider ikke er inkluderet i Disallow

✅ Når din hjemmeside ikke er indekseret af Google efter flere uger

Hvis du har et sitemap, har indsendt det via Search Console, men Google stadig ikke indekserer – er robots.txt den første mistænkte, du skal tjekke.

Når du tilføjer områder, der skal skjules (medlemsområder, interne sider)

Hvis din hjemmeside tilføjer en kontoadministrationsside, et medlemsområde eller interne sider – skal du opdatere robots.txt for at blokere disse områder.

Når du skifter hjemmesideplatform eller omdesigner

Hver platform (WordPress, Webflow, custom code) skaber en forskellig URL-struktur. Ved migrering kan den gamle robots.txt blokere nye sider forkert eller overse sider, der skal blokeres.

Når Search Console rapporterer "Blokeret af robots.txt"

Google Search Console har en Indekserings rapport, der viser, hvilke sider der er blokeret af robots.txt. Hvis du ser vigtige sider, der er blokeret – er det tid til at redigere filen med det samme.

5 almindelige robots.txt fejl og hvordan du løser dem

Fejl 1: Blokerer hele hjemmesiden - den mest alvorlige fejl

Symptom: Ingen sider er indekseret af Google. Search Console rapporterer mange sider som "Blokeret af robots.txt".

Årsag: Robots.txt filen indeholder:

User-agent: 
Disallow: /

Disse to linjer betyder: "Forbyd alle bots at tilgå enhver side." Dette sker ofte, når udviklere sætter denne regel under staging og glemmer at fjerne den, når siden går live.

Løsning: Ret det til:

User-agent: *
Disallow:

Sitemap: https://domæne.dk/sitemap.xml

Disallow: (uden noget efter kolonet) = tillad crawling af alt.

⚠️ Dette er den nr. 1 fejl, vi ser på nye virksomhedshjemmesider. Efter rettelsen kan det tage Google flere dage til uger at crawle siden igen. Indsend sitemapet igen via Search Console for at fremskynde processen.

---

Fejl 2: Blokerer CSS og JavaScript

Symptom: Hjemmesiden vises normalt i browseren, men når du bruger "URL Inspection" værktøjet i Search Console, ser Google, at siden er ødelagt eller tom for indhold.

Årsag: Robots.txt blokerer mapperne, der indeholder CSS og JS:

Disallow: /wp-content/
Disallow: /wp-includes/

Google skal kunne læse CSS og JS for at forstå, hvordan siden ser ud (dette kaldes "rendering"). Hvis det er blokeret, kan Google ikke rendere siden → forstår ikke indholdet → påvirker placeringen.

Løsning:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/

📝 Note til udviklere: Siden 2014 har Google klart anbefalet: Bloker ikke CSS, JS og billeder i robots.txt. Googlebot har brug for disse ressourcer for at rendere siden korrekt. Brug URL Inspection værktøjet i Search Console til at tjekke, hvordan Google renderer din side.

Fejl 3: Blokerer forkert vigtige sider

Symptom: Servicesider, produktsider eller blogindlæg vises ikke på Google – selvom sitemapet angiver dem.

Årsag: Reglen i robots.txt er for bred. For eksempel:

Disallow: /dich-vu

Denne linje blokerer ikke kun /dich-vu/, men også /dich-vu-thiet-ke-web/, /dich-vu-seo/, og enhver URL, der starter med /dich-vu.

Løsning: Tilføj et afsluttende / til stien for at blokere mappen præcist:

Disallow: /dich-vu-noi-bo/

Eller brug Allow til at beskytte vigtige sider:

Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/

📝 Bemærk til udviklere: Rækkefølgen af Allow og Disallow har betydning. Googlebot bruger den mest specifikke sti (most specific path). Hvis stierne er lige lange, har Allow forrang frem for Disallow. Test altid med Robots Testing Tool i Search Console, før du implementerer.

Fejl 4: Ingen robots.txt-fil

Symptomer: Indtast domæne.com/robots.txt → returnerer en 404-fejl.

Årsag: Hjemmesiden er oprettet manuelt, og udvikleren har ikke oprettet denne fil. Eller filen er blevet slettet ved en fejl under implementering.

Konsekvenser: Ikke så alvorligt som fejl 1 - hvis der ikke er en robots.txt-fil, crawler Google som standard alt. Men det betyder:

• Google vil crawle både admin-sider, test-sider og interne sider
• Du har ingen måde at pege på sitemapet via robots.txt
• Mangler grundlæggende kontrol

Løsning: Opret en robots.txt-fil i rodmappen. Minimum indhold:

User-agent: *
Disallow: /admin/
Disallow: /search?

Sitemap: https://domæne.com/sitemap.xml

---

Fejl 5: Brug af robots.txt til at skjule sider fra Google (misforstået formål)

Symptomer: Du blokerer en side med Disallow, men siden vises stadig på Google - dog uden indholds-snippet.

Årsag: Robots.txt blokerer crawling, ikke indeksering. Hvis siden allerede var indekseret, eller der er et backlink fra en anden hjemmeside, kan Google beholde URL'en i søgeresultaterne - den viser blot ikke indholdet.

Korrekt løsning:

Mål	Brug hvad
Ønsker ikke Google skal crawle (scanne)	Disallow i robots.txt
Ønsker ikke Google skal indeksere (vise)	tag i HTML
Ønsker ikke nogen af delene	Brug noindex i HTML (og bloker ikke i robots.txt)

⚠️ Dette er det mest misforståede punkt: Hvis du både blokerer crawling (robots.txt) og sætter noindex (HTML), vil Google ikke se noindex-tagget, fordi siden ikke bliver crawlet – og siden kan stadig blive indekseret. Løsningen: Brug noindex i HTML og fjern Disallow-reglen for den pågældende side i robots.txt.

Eksempel på robots.txt for virksomheders hjemmesider

Her er en eksempel-robots.txt-fil, der passer til de fleste små og mellemstore virksomheders hjemmesider:

# =============================================
# Robots.txt for virksomheders hjemmesider
# Opdateret: 2026-04-20
# =============================================

# Gælder for alle bots
User-agent: *

# Bloker administrations- og interne områder
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/

# Bloker interne søgesider (for at undgå spild af crawl budget)
Disallow: /search?
Disallow: /*?s=

# Bloker URL'er med tracking-parametre (for at undgå dubleret indhold)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=

# Bloker indkøbskurv / betalingssider (hvis de findes)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

# Tillad CSS, JS, billeder (Google skal bruge dem til at rendere siden)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/

# Peger på sitemapet
Sitemap: https://domæne.com/sitemap.xml

📝 Note til udviklere: robots.txt-filen skal ligge i rod-domænet — https://example.com/robots.txt. Ikke /blog/robots.txt eller andre undermapper. Hvert underdomæne kræver sin egen robots.txt (f.eks. blog.example.com/robots.txt separat fra example.com/robots.txt).

Sådan tjekker du din robots.txt

Metode 1: Tjek direkte i browseren

Skriv https://dit-domæne.dk/robots.txt i adresselinjen. Du vil se indholdet af filen som tekst. Hvis du får en 404-fejl, betyder det, at hjemmesiden ikke har en robots.txt-fil.

Metode 2: Brug Google Search Console

1. Log ind på Google Search Console
2. Gå til Indstillinger → Crawling → robots.txt
3. Se den robots.txt-fil, som Google læser
4. Tjek, om en specifik URL er blokeret

Metode 3: Tjek i indekseringsrapporten

I Search Console → Sider (eller Indeksering) → Find sektionen "Blokeret af robots.txt". Hvis vigtige sider er på denne liste, skal du rette din robots.txt med det samme.

💡 Det anbefales at tjekke robots.txt mindst én gang i kvartalet eller hver gang hjemmesiden gennemgår større ændringer (tilføjelse af sider, ændringer i struktur, platformsmigration).

Oversigt: Hvad robots.txt bør blokere og ikke blokere

✅ BØR blokere	❌ BØR IKKE blokere
Admin-sider (/admin/, /wp-admin/)	Forside, servicesider, kontaktsider
Staging / test-sider	Blogindlæg, artikler
Interne søgesider (/search?)	CSS- og JavaScript-filer
URL'er med tracking-parametre (?utm_, ?fbclid=)	Billeder (Google Images genererer også trafik)
Indkøbskurv, betaling, personlige kontosider	Sitemap
Sider med duplikeret indhold (filtre, sortering, paginering)	FAQ-sider, case studies

---

Ofte stillede spørgsmål om robots.txt

Hvad er forskellen på robots.txt og et sitemap?

Et sitemap siger: "Her er de sider, jeg ønsker, Google skal kende til." Robots.txt siger: "Her er de sider, jeg ikke ønsker, Google skal crawle." De to filer supplerer hinanden — sitemap'et viser vejen ind, robots.txt sætter barriererne op.

Hvis jeg ikke har en robots.txt, kan Google så stadig crawle min hjemmeside?

Ja. Uden en robots.txt vil Google som standard crawle alle sider — inklusive dem, du ikke ønsker. Derfor er det vigtigt at have filen.

Jeg bruger WordPress, hvor ligger min robots.txt?

WordPress opretter en virtuel (virtuel) robots.txt som standard. Hvis du bruger et SEO-plugin som Yoast eller Rank Math, kan du redigere robots.txt direkte i plugin'et uden at skulle have adgang til serveren.

Påvirker robots.txt hjemmesidens hastighed?

Nej. Filen er kun få KB stor. Den påvirker ikke sidens indlæsningshastighed.

Jeg har blokeret en side med robots.txt, men den vises stadig på Google?

Fordi robots.txt kun blokerer crawling, ikke indeksering. Hvis du ønsker, at en side helt skal forsvinde fra Google, skal du bruge -tagget i HTML'en — og ikke blokere siden i robots.txt (så Google kan læse noindex-tagget).

Efter jeg har rettet robots.txt, hvor lang tid går der, før Google opdaterer?

Google tjekker typisk robots.txt igen inden for 24-48 timer. Du kan gå til Search Console → Indstillinger → Crawling for at anmode Google om at tjekke igen tidligere.

Konklusion

Robots.txt er en lille fil — ofte kun få linjer — men den har direkte indflydelse på, om Google overhovedet ser din hjemmeside.

Ting at huske:

1. Robots.txt er et "Adgang forbudt"-skilt: fortæller Google, hvilke sider der ikke må crawles
2. Tjek, når hjemmesiden går live: Fejl, der blokerer hele hjemmesiden, er den mest almindelige og alvorlige fejl
3. Brug ikke robots.txt til at skjule sider for Google: Det blokerer crawling, ikke indeksering
4. Tillad altid CSS og JS: Google skal rendere siden for at forstå indholdet
5. Kombiner med sitemap og Search Console: for at have fuld kontrol over, at Google crawler og indekserer hjemmesiden

Tjek din hjemmesides fundament

Robots.txt er kun én af mange tekniske faktorer, der påvirker SEO. Hvis du undrer dig: "Er min hjemmeside sat korrekt op?" - ligger svaret i det fundament, du bruger.

GTG CRM hjælper dig med at få en hjemmeside med en standard robots.txt, automatisk sitemap og en teknisk struktur, der er klar til Google - du behøver ikke bekymre dig om at redigere hver fil eller hver kodelinje.