Hvad er Robots.txt, og hvornår bør virksomheder bekymre sig om det?

Du har en sitemap, den er sendt til Google, og din hjemmeside er begyndt at blive indekseret. Men en dag opdager du, at din administrationsside (admin), interne betalingsside eller staging-side også vises på Google. Kunder, der søger på firmanavnet, kan se en ufærdig testside.

Eller omvendt: Du poster et nyt blogindlæg, og efter to uger vises det stadig ikke på Google. Du spørger teknikerne, og de svarer: "Robots.txt-filen blokerer Google fra at crawle hele hjemmesiden."

Begge situationer involverer en lille fil, som webadministratorer sjældent lægger mærke til: robots.txt.

Denne artikel vil forklare, hvad robots.txt er, hvordan det fungerer, hvornår du skal redigere det, og almindelige fejl, som virksomheder skal undgå - alt sammen forklaret med et simpelt sprog og praktiske eksempler.

Hvad er robots.txt? Forklaret for webadministratorer

Hvis sitemap er et bygningskort - der fortæller Google, hvilke rum der findes - så er robots.txt et "Adgang forbudt"-skilt - der fortæller Google, hvilke rum der ikke må besøges.

Teknisk set er robots.txt en lille tekstfil, der ligger i roden af din hjemmeside (f.eks. https://example.com/robots.txt). Filen indeholder regler, der fortæller søgemaskinernes bots - som Googlebot - hvad:

• Hvilke sider der må crawles (gennemgås)
• Hvilke sider der ikke må crawles
• Hvor sitemap er placeret

Du kan se robots.txt for enhver hjemmeside ved at skrive: domænenavn.dk/robots.txt i din browser.

💡 Vigtigt: robots.txt er kun en høflig anmodning, ikke et absolut forbud. Respekterede bots som Googlebot vil overholde den, men dårlige bots (spam, scrapere) kan ignorere den. Hvis du har brug for reel sikkerhed, skal du bruge adgangskoder eller en firewall - stol ikke kun på robots.txt.

Hvordan ser en robots.txt-fil ud?

Du behøver ikke at skrive denne fil fra bunden. Men for at forstå den, når du ser den, her er en simpel robots.txt-fil:

User-agent: *
Disallow: /admin/
Disallow: /betaling/
Disallow: /staging/
Allow: /

Sitemap: https://example.com/sitemap.xml

Forklaring af hver linje:

Linje	Betydning
User-agent: *	Gælder for alle bots (Google, Bing osv.)
Disallow: /admin/	Forhindrer bots i at få adgang til mappen /admin/
Disallow: /betaling/	Forhindrer bots i at få adgang til betalingssiden
Disallow: /staging/	Forhindrer bots i at få adgang til staging-versionen
Allow: /	Tillader bots at crawle resten af hjemmesiden
Sitemap: https://...	Fortæller bots, hvor sitemap er placeret

Her er et mere komplekst eksempel - velegnet til en virksomheds hjemmeside med en blog, en serviceside og et administrationsområde:

# Tillad alle bots at crawle offentligt indhold
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_

# Tillad Googlebot at crawle CSS og JS (nødvendigt for at rendere siden)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/

Sitemap: https://example.com/sitemap.xml

📝 Bemærk til udviklere: Tegnet `*` i stien er et wildcard — `/`*`?utm_` betyder, at alle URL'er, der indeholder parameteren `?utm_`, blokeres. Tegnet `$` i slutningen af stien bruges til præcis matchning af slutningen af URL'en. For eksempel: `Disallow: /*.pdf$` vil blokere alle PDF-filer.

Hvordan fungerer robots.txt i SEO-processen?

For at forstå robots.txt's placering, lad os se på Googles proces for at inkludere en webside i søgeresultaterne:

Crawl → Index → Rank
(Gennemgå) (Gem) (Rangér)

Robots.txt fungerer i det første trin - Crawl.

Før Googlebot begynder at crawle nogen sider på dit website, tjekker den robots.txt først. Hvis en URL er angivet i Disallow, ignorerer Googlebot den side - crawler den ikke, læser den ikke indholdet.

Googlebot ønsker at crawle https://example.com/admin/settings
→ Tjekker robots.txt
→ Finder Disallow: /admin/
→ Ignorerer, crawler ikke

Googlebot ønsker at crawle https://example.com/dich-vu/
→ Tjekker robots.txt
→ Ikke blokeret
→ Crawler normalt → Indekserer → Kan komme på søgeresultater

Robots.txt og sitemap: et supplerende par

Fil	Rolle
Sitemap	"Dette er listen over sider, jeg ønsker Google skal kende"
Robots.txt	"Dette er siderne, jeg ikke ønsker Google skal crawle"

Disse to filer modsiger ikke hinanden - de arbejder sammen. Sitemap viser vejen, robots.txt sætter barrierer. Ved at kombinere dem korrekt kan du kontrollere, hvad Google ser og ignorerer på dit website.

Hvad bruges robots.txt til? 4 almindelige tilfælde

1. Skjul administrations- og interne sider fra Google

Admin-sider, CMS backend-sider, staging-sider, test-sider - alt dette bør ikke vises på Google. Robots.txt hjælper dig med at fortælle Google: "Gå ikke hertil."

Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/

2. Undgå at spilde "crawl budget"

Google crawler ikke uendeligt. Hvert website har et "crawl budget" - antallet af sider, som Googlebot vil crawle under hvert besøg. Hvis websitet har mange uvigtige sider (interne søgesider, filter-sider, pagineringssider), kan Googlebot bruge tid på at crawle disse i stedet for vigtige service-sider eller blogindlæg.

Disallow: /search?
Disallow: /tag/
Disallow: /page/

💡 Crawl budget er primært vigtigt for store websites (tusindvis af sider). Små virksomhedswebsites behøver normalt ikke bekymre sig for meget, men at holde robots.txt ryddelig er stadig en god vane.

3. Bloker duplikeret indhold

Hvis dit website har flere URL'er, der fører til det samme indhold (f.eks. URL'er med tracking-parametre ?utm_source=facebook eller print-versioner ?print=true), kan du blokere disse duplikerede URL'er:

Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=

4. Vis vej til sitemap

Robots.txt er det første sted, Googlebot tjekker, når den besøger et website. Ved at placere sitemap-stien her hjælper du Google med at finde sitemap hurtigere - selv hvis du ikke har sendt det via Search Console.

Sitemap: https://example.com/sitemap.xml

Hvornår skal virksomheder være opmærksomme på robots.txt?

Du behøver ikke altid at redigere robots.txt. Men der er tidspunkter, hvor det er obligatorisk at tjekke denne fil:

Når websitet lige er lanceret (go-live)

Dette er det vigtigste tidspunkt. Mange websites bliver fuldstændig blokeret fra crawling, fordi udviklerne glemmer at fjerne linjen Disallow: / - den linje, de satte under staging-processen for at forhindre Google i at indeksere den ufuldstændige version.

Tjek ved go-live:

Kategori	Sådan tjekker du
Robots.txt fil eksisterer	Åbn https://domænenavn.dk/robots.txt i browseren
Blokerer ikke hele websitet	Sørg for, at der IKKE er linjen Disallow: /
Har sitemap-deklaration	Sørg for, at der ER linjen Sitemap: https://domænenavn.dk/sitemap.xml
Vigtige sider er ikke blokeret	Tjek, at service-, blog- og kontaktsider ikke er inkluderet i Disallow

✅ Når websitet ikke bliver indekseret af Google efter flere uger

Hvis du allerede har et sitemap, har indsendt det via Search Console, men Google indekserer det stadig ikke - er robots.txt den første mistænkte, der skal tjekkes.

Når du tilføjer områder, der skal skjules (medlemsområder, interne sider)

Hvis din hjemmeside tilføjer en kontoadministrationsside, et medlemsområde eller interne sider - skal du opdatere robots.txt for at blokere disse områder.

Når du skifter hjemmesideplatform eller omdesigner

Hver platform (WordPress, Webflow, custom code) genererer en forskellig URL-struktur. Ved migrering kan den gamle robots.txt blokere nye sider forkert eller overse sider, der skal blokeres.

Når Search Console rapporterer fejlen "Blokeret af robots.txt"

Google Search Console har en Indeksering-rapport, der viser, hvilke sider der er blokeret af robots.txt. Hvis du ser, at vigtige sider er blokeret - er det tid til at redigere filen med det samme.

5 almindelige robots.txt-fejl og hvordan du retter dem

Fejl 1: Blokerer hele hjemmesiden - den mest alvorlige fejl

Symptom: Ingen sider bliver indekseret af Google. Search Console rapporterer et stort antal sider som "Blokeret af robots.txt".

Årsag: Robots.txt-filen indeholder:

User-agent: 
Disallow: /

Disse to linjer betyder: "Forbyd alle bots at tilgå enhver side." Dette sker ofte, når udviklere sætter denne regel under staging og glemmer at fjerne den, når siden går live.

Løsning: Rediger til:

User-agent: *
Disallow:

Sitemap: https://domæne.dk/sitemap.xml

Disallow: (intet efter kolon) = tillad crawling af alt.

⚠️ Dette er den nr. 1 fejl, vi ser på nye virksomhedshjemmesider. Efter rettelsen kan det tage Google flere dage til uger at crawle igen. Indsend sitemapet igen via Search Console for at fremskynde processen.

Fejl 2: Blokerer CSS og JavaScript

Symptom: Hjemmesiden vises normalt i browseren, men når du bruger "URL Inspection"-værktøjet i Search Console, ser Google, at siden er ødelagt i layoutet eller tom for indhold.

Årsag: Robots.txt blokerer mapperne, der indeholder CSS og JS:

Disallow: /wp-content/
Disallow: /wp-includes/

Google har brug for at læse CSS og JS for at forstå, hvordan siden ser ud (kaldet "rendering"). Hvis det er blokeret, kan Google ikke rendere siden → forstår ikke indholdet → påvirker rangeringen.

Løsning:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/

📝 Note til udviklere: Siden 2014 har Google tydeligt anbefalet: ikke blokere CSS, JS og billeder i robots.txt. Googlebot har brug for disse ressourcer for at rendere siden korrekt. Brug URL Inspection-værktøjet i Search Console til at tjekke, hvordan Google render din side.

Fejl 3: Blokerer vigtige sider forkert

Symptom: Servicesider, produktsider eller blogindlæg vises ikke på Google - selvom sitemapet inkluderer dem.

Årsag: Reglen i robots.txt er for bred. Eksempel:

Disallow: /dich-vu

Denne linje blokerer ikke kun /dich-vu/, men også /dich-vu-thiet-ke-web/, /dich-vu-seo/, og enhver URL, der starter med /dich-vu.

Løsning: Tilføj en / sidst i stien for præcist at blokere mappen:

Disallow: /dich-vu-noi-bo/

Eller brug Allow for at beskytte nødvendige sider:

Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/

📝 Note til udviklere: Rækkefølgen af `Allow` og `Disallow` har betydning. Googlebot bruger den mest specifikke sti (most specific path). Hvis de har samme længde, prioriteres `Allow` over `Disallow`. Test altid med Robots Testing Tool i Search Console før implementering.

Fejl 4: Ingen robots.txt-fil

Symptom: Type ten-mien.com/robots.txt → returns 404 error.

Cause: The website is manually built and the developer did not create this file. Or the file was accidentally deleted during deployment.

Impact: Not as serious as error 1 - without a robots.txt, Google defaults to crawling everything. But this means:

• Google will crawl admin pages, test pages, internal pages
• You have no way to point to the sitemap via robots.txt
• Lack of basic control

Solution: Create a robots.txt file in the root directory. Minimum content:

User-agent: *
Disallow: /admin/
Disallow: /search?

Sitemap: https://ten-mien.com/sitemap.xml

Error 5: Using robots.txt to hide pages from Google (misunderstanding purpose)

Symptom: You block a page with Disallow, but the page still appears on Google - albeit without a content snippet.

Cause: Robots.txt blocks crawling, not indexing. If the page was indexed previously, or has backlinks from other websites pointing to it, Google may keep the URL in the search results - it just won't display the content.

Correct Solution:

Goal	What to use
Do not want Google to crawl	Disallow in robots.txt
Do not want Google to index	tag in HTML
Do not want either	Use noindex in HTML (and do not block in robots.txt)

⚠️ This is the most commonly misunderstood point: If you both block crawling (robots.txt) and set `noindex` (HTML), Google will not see the noindex tag because it's not allowed to crawl that page — and the page might still be indexed. Solution: use `noindex` in HTML and remove the `Disallow` rule for that page in robots.txt.

Sample robots.txt for business websites

Below is a sample robots.txt file suitable for most SMB business websites:

# =============================================
# Robots.txt for business websites
# Updated: 2026-04-20
# =============================================

# Apply to all bots
User-agent: *

# Block admin and internal areas
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/

# Block internal search pages (to avoid wasting crawl budget)
Disallow: /search?
Disallow: /*?s=

# Block URLs with tracking parameters (to avoid duplicate content)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=

# Block cart/checkout pages (if any)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

# Allow CSS, JS, images (Google needs them to render the page)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/

# Point to sitemap
Sitemap: https://ten-mien.com/sitemap.xml

📝 Note for developers: The robots.txt file must be in the root domain — `https://example.com/robots.txt`. Not `/blog/robots.txt` or another subdirectory. Each subdomain needs its own robots.txt (e.g., `blog.example.com/robots.txt` is separate from `example.com/robots.txt`).

How to check your website's robots.txt

Method 1: Check directly in the browser

Type https://ten-mien-cua-ban.com/robots.txt into the address bar. You will see the file content in text format. If you see a 404 error — the website does not have a robots.txt yet.

Method 2: Use Google Search Console

1. Log ind på Google Search Console
2. Gå til Settings → Crawling → robots.txt
3. Se robots.txt-filen, som Google læser
4. Kontroller, om den specifikke URL er blokeret

Metode 3: Tjek i indekseringsrapporten

I Search Console → Pages (eller Indexing) → Find sektionen "Blocked by robots.txt". Hvis vigtige sider er på denne liste, skal du rette robots.txt med det samme.

💡 Det anbefales at tjekke robots.txt mindst én gang i kvartalet eller hver gang hjemmesiden gennemgår større ændringer (tilføjelse af sider, ændring af struktur, migration af platform).

Oversigt: Hvad robots.txt bør blokere, og hvad den ikke bør blokere

✅ BØR blokeres	❌ BØR IKKE blokeres
Administrationssider (/admin/, /wp-admin/)	Hjemmeside, servicesider, kontaktsider
Staging/test-sider	Blogindlæg, artikler
Interne søgesider (/search?)	CSS- og JavaScript-filer
URL'er med tracking-parametre (?utm_, ?fbclid=)	Billeder (Google Images kan også generere trafik)
Indkøbskurv, betaling, personlige kontosider	Sitemap
Sider med duplikeret indhold (filtrering, sortering, paginering)	FAQ-sider, case studies

Ofte stillede spørgsmål om robots.txt

Hvad er forskellen på robots.txt og sitemap?

Sitemap siger: "Her er de sider, jeg ønsker, at Google skal kende til." Robots.txt siger: "Her er de sider, jeg ikke ønsker, at Google skal gennemgå." De to filer supplerer hinanden – sitemap viser vejen ind, robots.txt sætter barrierer op.

Hvis der ikke er en robots.txt-fil, kan Google så gennemgå hjemmesiden?

Ja. Uden en robots.txt-fil vil Google som standard gennemgå alle sider – inklusive dem, du ikke ønsker. Derfor er det vigtigt at have denne fil.

Jeg bruger WordPress, hvor ligger robots.txt?

WordPress opretter automatisk en virtuel robots.txt-fil. Hvis du bruger et SEO-plugin som Yoast eller Rank Math, kan du redigere robots.txt direkte i plugin'et uden at skulle tilgå serveren.

Påvirker robots.txt hjemmesidens hastighed?

Nej. Denne fil fylder kun et par KB. Den påvirker ikke sidens indlæsningshastighed.

Jeg har blokeret en side med robots.txt, men den vises stadig på Google?

Fordi robots.txt kun blokerer for gennemgang, ikke for indeksering. Hvis du vil have en side til helt at forsvinde fra Google, skal du bruge meta-tagget i HTML'en – og ikke blokere siden i robots.txt (så Google kan læse noindex-tagget).

Hvor lang tid tager det for Google at opdatere efter en ændring i robots.txt?

Google tjekker normalt robots.txt igen inden for 24-48 timer. Du kan gå til Search Console → Settings → Crawling for at bede Google om at tjekke igen tidligere.

Konklusion

Robots.txt er en lille fil – ofte kun et par linjer – men den har direkte indflydelse på, om Google finder din hjemmeside eller ej.

Ting at huske:

1. Robots.txt er et "Adgang forbudt"-skilt: det fortæller Google, hvilke sider der ikke må gennemgås
2. Tjek med det samme, når hjemmesiden går live: en fejl, der blokerer hele hjemmesiden, er en almindelig og alvorlig fejl
3. Brug ikke robots.txt til at skjule sider fra Google: den blokerer for gennemgang, ikke for indeksering
4. Tillad altid CSS og JS: Google skal kunne rendere siden for at forstå indholdet
5. Kombiner med sitemap og Search Console: for fuldstændig kontrol over, hvordan Google gennemgår og indekserer hjemmesiden

Tjek din hjemmesides platform

Robots.txt er blot en af ​​mange tekniske faktorer, der påvirker SEO. Hvis du undrer dig over: "Er mit website sat korrekt op?" - svaret ligger i den platform, du bruger.

GTG CRM hjælper dig med et website med korrekt robots.txt, et automatisk sitemap og en teknisk struktur, der er klar til Google - du behøver ikke bekymre dig om at ændre hver enkelt fil eller kodelinje.