Vad är robots.txt och när bör företag bry sig om den här filen?

Vad är robots.txt och när ska företag bry sig om den filen?

Du har din sitemap, du har skickat den till Google, och din webbplats börjar redan indexeras. Men en dag upptäcker du att administrationssidan (admin), interna betalningssidor eller staging-sidor på din webbplats också visas på Google. Kunder skriver in ditt företagsnamn – och ser till och med en ofullständig testsida.

Eller tvärtom: du publicerar ett nytt blogginlägg, väntar två veckor men ser det fortfarande inte på Google. Du frågar den tekniska avdelningen, och de säger: "Robots.txt-filen blockerar Google från att genomsöka hela webbplatsen."

Båda situationerna involverar en liten fil som få webbansvariga lägger märke till: robots.txt.

Den här artikeln förklarar vad robots.txt är, hur den fungerar, när du behöver ändra den, och vanliga misstag som företag bör undvika – allt på ett enkelt språk, med praktiska exempel.

Vad är robots.txt? Förklaring för webbansvariga

Om sitemap är byggnadens karta – som talar om för Google vilka rum som finns – så är robots.txt en "Begränsat område"-skylt – som talar om för Google vilka rum som inte får besökas.

Tekniskt sett: robots.txt är en liten textfil som ligger i webbplatsens rotkatalog (t.ex. https://example.com/robots.txt). Denna fil innehåller regler som talar om för sökmotorers botar – som Googlebot –:

• Vilka sidor som får genomsökas
• Vilka sidor som inte får genomsökas
• Var sitemap finns

Du kan se robots.txt för vilken webbplats som helst genom att skriva: domännamn.com/robots.txt i din webbläsare.

💡 Viktigt: robots.txt är bara en artig förfrågan, inte ett absolut förbud. Pålitliga botar som Googlebot kommer att följa den, men dåliga botar (spam, skrapare) kan ignorera den. Om du behöver verklig säkerhet, använd lösenord eller en brandvägg – lita inte bara på robots.txt.

Hur ser en robots.txt-fil ut?

Du behöver inte skriva den här filen från grunden. Men för att förstå när du ser den, här är en enkel robots.txt-fil:

User-agent: *
Disallow: /admin/
Disallow: /thanh-toan/
Disallow: /staging/
Allow: /

Sitemap: https://example.com/sitemap.xml

Förklaring av varje rad:

Rad	Betydelse
User-agent: *	Gäller alla botar (Google, Bing, etc.)
Disallow: /admin/	Tillåt inte botar att gå in i katalogen /admin/
Disallow: /thanh-toan/	Tillåt inte botar att gå in på betalningssidan
Disallow: /staging/	Tillåt inte botar att gå in på staging-versionen
Allow: /	Tillåt botar att genomsöka resten av webbplatsen
Sitemap: https://...	Tal om för boten var sitemap finns

Här är ett mer komplext exempel – lämpligt för en företagswebbplats med en blogg, en tjänstesida och ett administrativt område:

# Tillåt alla botar att genomsöka offentligt innehåll
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_

# Tillåt Googlebot att genomsöka CSS och JS (nödvändigt för att rendera sidan)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/

Sitemap: https://example.com/sitemap.xml

📝 Notera för utvecklare: Tecknet i sökvägen är ett wildcard — /?utm_ betyder att blockera alla URL:er som innehåller parametern ?utm_. Tecknet $ i slutet av sökvägen används för att exakt matcha slutet av URL:en. Till exempel: Disallow: /*.pdf$ kommer att blockera alla PDF-filer.

---

Hur fungerar robots.txt i SEO-processen?

För att förstå var robots.txt passar in, låt oss titta på Googles process för att inkludera en webbplats i sökresultaten:

Crawl → Index → Rank
(Genomsök)   (Indexera)   (Rangordna)

Robots.txt verkar i det första steget - Crawl.

Innan Googlebot börjar genomsöka någon sida på din webbplats, kontrollerar den robots.txt först. Om en URL listas i Disallow, kommer Googlebot att ignorera den sidan - inte genomsöka, inte läsa innehållet.

Googlebot vill genomsöka https://example.com/admin/settings
→ Kontrollerar robots.txt
→ Hittar Disallow: /admin/
→ Ignorerar, genomsöker inte

Googlebot vill genomsöka https://example.com/dich-vu/
→ Kontrollerar robots.txt
→ Blockeras inte
→ Genomsöker normalt → Indexerar → Kan visas i sökresultaten

Robots.txt och sitemap: en kompletterande duo

Fil	Roll
Sitemap	"Det här är listan över sidor jag vill att Google ska känna till"
Robots.txt	"Det här är sidorna jag inte vill att Google ska genomsöka"

Dessa två filer motsäger inte varandra – de samarbetar. Sitemap visar vägen, robots.txt sätter upp spärrar. Om de kombineras korrekt kan du styra vad Google ser och ignorerar på din webbplats.

Vad används robots.txt till? 4 vanliga fall

1. Dölj administrations- och interna sidor från Google

Administrationssidor, CMS backend-sidor, staging-sidor, testsidor – allt detta bör inte visas på Google. Robor.txt hjälper dig att säga till Google: "Gå inte hit."

Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/

2. Undvik att slösa "crawl budget"

Google genomsöker inte oändligt. Varje webbplats har en "crawl budget" – antalet sidor som Googlebot kommer att genomsöka vid varje besök. Om webbplatsen har många oviktiga sidor (interna sökresultat, filter, sidnumrering), kan Googlebot spendera tid på att genomsöka dessa istället för viktiga tjänstesidor eller blogginlägg.

Disallow: /search?
Disallow: /tag/
Disallow: /page/

💡 Crawl budget är främst viktigt för stora webbplatser (tusentals sidor). Små företagswebbplatser behöver sällan oroa sig för mycket, men att hålla robots.txt organiserad är fortfarande en bra vana.

3. Blockera dubbelt innehåll

Om din webbplats har flera URL:er som leder till samma innehåll (t.ex. URL:er med spårningsparametrar ?utm_source=facebook eller utskriftsversioner ?print=true), kan du blockera dessa dubbla URL:er:

Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=

4. Visa vägen till sitemap

Robots.txt är den första platsen Googlebot kontrollerar när den besöker en webbplats. Att placera sitemap-adressen här hjälper Google att hitta sitemap snabbare – även om du inte har skickat in den via Search Console.

Sitemap: https://example.com/sitemap.xml

När behöver företag tänka på robots.txt?

Du behöver inte alltid ändra robots.txt. Men det finns tillfällen då det är obligatoriskt att kontrollera filen:

När webbplatsen lanseras (go-live)

Det här är det viktigaste ögonblicket. Många webbplatser blockeras helt från att genomsökas eftersom utvecklarna glömmer att ta bort raden Disallow: / – den rad de satte dit under staging för att förhindra Google från att indexera en ofullständig version.

Kontrollera vid lansering:

Kategori	Hur man kontrollerar
Filen robots.txt finns	Öppna https://ten-mien.com/robots.txt i webbläsaren
Blokkerar inte hela webbplatsen	Se till att det INTE finns en rad Disallow: /
Har sitemap-deklaration	Se till att det FINNS en rad Sitemap: https://ten-mien.com/sitemap.xml
Viktiga sidor blockeras inte	Kontrollera att tjänstesidor, bloggar, kontaktsidor inte finns inom Disallow

✅ När webbplatsen inte indexeras av Google efter flera veckor

Om du har en sitemap och har skickat in den via Search Console, men Google fortfarande inte indexerar den – är robots.txt den första misstänkta filen att kontrollera.

När du lägger till områden som ska döljas (medlemssidor, interna sidor)

Om webbplatsen kompletteras med en kontohanteringssida, ett medlemsområde eller interna sidor – uppdatera robots.txt för att blockera dessa områden.

När webbplatsplattformen ändras eller görs om

Varje plattform (WordPress, Webflow, anpassad kod) skapar olika URL-strukturer. Vid migrering kan den gamla robots.txt felaktigt blockera nya sidor eller missa sidor som behöver blockeras.

När Search Console rapporterar felet "Blocked by robots.txt"

Google Search Console har en rapport om Indexering som visar vilka sidor som blockeras av robots.txt. Om du ser att viktiga sidor blockeras – då är det dags att justera filen omedelbart.

5 vanliga fel i robots.txt och hur man åtgärdar dem

Fel 1: Blockera hela webbplatsen - det allvarligaste felet

Symtom: Inga sidor indexeras av Google. Search Console rapporterar massor av sidor som "Blocked by robots.txt".

Orsak: Filen robots.txt innehåller:

User-agent: 
Disallow: /

Dessa två rader betyder: "Förbjud alla bots att komma åt alla sidor." Detta händer ofta när utvecklare sätter denna regel under staging och glömmer att ta bort den när de går live.

Åtgärd: Ändra till:

User-agent: *
Disallow:

Sitemap: https://ten-mien.com/sitemap.xml

Disallow: (inget efter dubbla punkter) = tillåt crawling av allt.

⚠️ Det här är det första felet vi ser på nya företagswebbplatser. Efter att det har åtgärdats kan det ta flera dagar till flera veckor för Google att krypa om webbplatsen. Skicka in sitemapen igen via Search Console för att påskynda processen.

---

Fel 2: Blockera CSS och JavaScript

Symtom: Webbplatsen visas normalt i webbläsaren, men när du använder verktyget "URL Inspection" i Search Console ser Google att sidan har brutet layout eller tomt innehåll.

Orsak: Robots.txt blockerar kataloger som innehåller CSS och JS:

Disallow: /wp-content/
Disallow: /wp-includes/

Google behöver läsa CSS och JS för att förstå hur sidan ser ut (kallat "rendering"). Om det blockeras kan Google inte rendera sidan → förstår inte innehållet → påverkar rankingen.

Åtgärd:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/

📝 Notering för utvecklare: Sedan 2014 har Google tydligt rekommenderat: blockera inte CSS, JS och bilder i robots.txt. Googlebot behöver dessa resurser för att rendera sidan korrekt. Använd verktyget URL Inspection i Search Console för att kontrollera hur Google renderar din sida.

Fel 3: Blockera viktiga sidor felaktigt

Symtom: Tjänstesidor, produktsidor eller blogginlägg visas inte på Google – trots att de finns med i sitemapen.

Orsak: Regeln i robots.txt är för bred. Till exempel:

Disallow: /dich-vu

Denna rad blockerar inte bara /dich-vu/ utan även /dich-vu-thiet-ke-web/, /dich-vu-seo/ och alla URL:er som börjar med /dich-vu.

Åtgärd: Lägg till ett / i slutet av sökvägen för att blockera mappen korrekt:

Disallow: /dich-vu-noi-bo/

Eller använd Allow för att skydda nödvändiga sidor:

Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/

📝 Notering för utvecklare: Ordningen på Allow och Disallow har betydelse. Googlebot använder den mest specifika sökvägen (most specific path). Om de har samma längd prioriteras Allow framför Disallow. Testa alltid med Robots Testing Tool i Search Console innan driftsättning.

Fel 4: Ingen robots.txt-fil

Symptom: Ange domännamn.se/robots.txt → ger fel 404.

Orsak: Webbplatsen är manuellt skapad och utvecklaren har inte skapat den här filen. Eller så raderades filen av misstag vid driftsättning.

Påverkan: Inte lika allvarligt som fel 1 – utan robots.txt indexerar Google som standard allt. Men det innebär:

• Google kommer att genomsöka både administratörssidor, testsidor och interna sidor
• Du har inget sätt att ange sökvägen till sitemapen via robots.txt
• Grundläggande kontroll saknas

Åtgärd: Skapa en robots.txt-fil i rotkatalogen. Minimalt innehåll:

User-agent: *
Disallow: /admin/
Disallow: /search?

Sitemap: https://domännamn.se/sitemap.xml

---

Fel 5: Använda robots.txt för att dölja sidor från Google (missförstånd av syftet)

Symptom: Du blockerar en sida med Disallow, men sidan visas fortfarande i Google – utan innehållssnutt.

Orsak: Robots.txt blockerar genomsökning (crawl), inte indexering (index). Om sidan redan har indexerats, eller om det finns en bakåtlänk från en annan webbplats som pekar på den, kan Google behålla URL:en i sökresultaten – den visar bara inte innehållet.

Korrekt åtgärd:

Mål	Använd
Vill inte att Google ska genomsöka (scanna)	Disallow i robots.txt
Vill inte att Google ska indexera (visa)	-tagg i HTML
Vill inte ha någotdera	Använd noindex i HTML (och blockera inte i robots.txt)

⚠️ Detta är den punkt som oftast missförstås: Om du både blockerar genomsökning (robots.txt) och sätter noindex (HTML), kommer Google inte att se noindex-taggen eftersom sidan inte genomsöks — och sidan kan fortfarande indexeras. Lösning: använd noindex i HTML och ta bort Disallow-regeln för den sidan i robots.txt.

Exempel på robots.txt för företagswebbplatser

Här är en exempelrobots.txt-fil som passar de flesta SMB-företagswebbplatser:

# =============================================
# Robots.txt för företagswebbplatser
# Uppdaterad: 2026-04-20
# =============================================

# Gäller alla botar
User-agent: *

# Blockera administrations- och interna områden
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/

# Blockera interna söksidor (undvik slöseri med crawl budget)
Disallow: /search?
Disallow: /*?s=

# Blockera URL:er med spårningsparametrar (undvik dubblettinnehåll)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=

# Blockera varukorg/betalningssidor (om de finns)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

# Tillåt CSS, JS, bilder (Google behöver dem för att rendera sidan)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/

# Ange sökväg till sitemap
Sitemap: https://domännamn.se/sitemap.xml

📝 Notering för utvecklare: robots.txt-filen måste ligga i roten av domänen — https://example.com/robots.txt. Inte /blog/robots.txt eller någon annan underkatalog. Varje underdomän behöver en egen robots.txt (t.ex. blog.example.com/robots.txt är separat från example.com/robots.txt).

Hur du kontrollerar din webbplats robots.txt

Metod 1: Kontrollera direkt i webbläsaren

Skriv https://ditt-domännamn.com/robots.txt i adressfältet. Du kommer att se filens innehåll i textformat. Om du får ett 404-fel — webbplatsen har ingen robots.txt.

Metod 2: Använd Google Search Console

1. Logga in på Google Search Console
2. Gå till Inställningar → Crawling → robots.txt
3. Visa robots.txt-filen som Google läser
4. Kontrollera om en specifik URL är blockerad

Metod 3: Kontrollera i rapporteringen för indexering

I Search Console → Sidor (eller Indexering) → Leta efter avsnittet "Blockerad av robots.txt". Om det finns viktiga sidor i den här listan behöver du åtgärda robots.txt omedelbart.

💡 Det är rekommenderat att kontrollera robots.txt minst en gång per kvartal eller närhelst webbplatsen genomgår större förändringar (t.ex. lägger till sidor, ändrar struktur, migrerar plattform).

Tabellöversikt: Vad robots.txt bör blockera och inte blockera

✅ BÖR blockeras	❌ BÖR INTE blockeras
Administrationssidor (/admin/, /wp-admin/)	Startsidan, tjänstesidor, kontaktsidor
Staging / test-sidor	Blogginlägg, artiklar
Interna sökresultatsidor (/search?)	CSS- och JavaScript-filer
URL:er med spårningsparametrar (?utm_, ?fbclid=)	Bilder (Google Images genererar också trafik)
Kundvagn, betalningssidor, personliga konton	Sitemap
Sidor med duplicerat innehåll (filter, sortering, paginering)	FAQ-sidor, fallstudier

---

Vanliga frågor om robots.txt

Vad är skillnaden mellan robots.txt och sitemap?

Sitemap säger: "Här är sidor jag vill att Google ska känna till." Robots.txt säger: "Här är sidor jag inte vill att Google ska genomsöka." De två filerna kompletterar varandra — sitemap visar vägen in, robots.txt sätter upp hinder.

Om jag inte har en robots.txt, kan Google genomsöka webbplatsen?

Ja. Utan en robots.txt genomsöker Google som standard alla sidor — inklusive sidor du inte vill ha med. Det är därför du bör ha en fil.

Jag använder WordPress, var finns robots.txt?

WordPress skapar en virtuell robots.txt automatiskt. Om du använder ett SEO-plugin som Yoast eller Rank Math kan du redigera robots.txt direkt i pluginet utan att behöva komma åt servern.

Påverkar robots.txt webbplatsens hastighet?

Nej. Filen är bara några KB stor. Den påverkar inte sidladdningshastigheten.

Jag har blockerat en sida med robots.txt, varför visas den fortfarande på Google?

Eftersom robots.txt bara blockerar genomsökning, inte indexering. Om du vill att en sida helt ska försvinna från Google, använd taggen i HTML — och blockera inte sidan i robots.txt (så att Google kan läsa noindex-taggen).

Hur lång tid tar det för Google att uppdatera efter att jag har ändrat robots.txt?

Google kontrollerar vanligtvis robots.txt igen inom 24-48 timmar. Du kan gå till Search Console → Inställningar → Crawling för att be Google att kontrollera igen tidigare.

Slutsats

Robots.txt är en liten fil — ofta bara några rader — men den påverkar direkt om Google hittar din webbplats eller inte.

Saker att komma ihåg:

1. Robots.txt är en "Tillträde förbjuden"-skylt: talar om för Google vilka sidor som inte får genomsökas
2. Kontrollera direkt när webbplatsen lanseras: fel som blockerar hela webbplatsen är vanliga och allvarliga
3. Använd inte robots.txt för att dölja sidor från Google: den blockerar genomsökning, inte indexering
4. Tillåt alltid CSS och JS: Google behöver rendera sidan för att förstå innehållet
5. Kombinera med sitemap och Search Console: för att helt kontrollera hur Google genomsöker och indexerar webbplatsen

Kontrollera din webbplats grund

Robots.txt är bara en av många tekniska faktorer som påverkar SEO. Om du undrar: "Är min webbplats korrekt inställd?" – svaret ligger i plattformen du använder.

GTG CRM hjälper dig att få en webbplats med korrekt robots.txt, automatisk sitemap och en teknisk struktur som är redo för Google – du behöver inte oroa dig för att ändra varje fil eller kodrad.