Vad är robots.txt och när bör företag bry sig om det?

Du har en sitemap, du har skickat den till Google, och din webbplats har börjat indexeras. Men en dag upptäcker du att din administratörssida, interna betalningssida eller staging-sida dyker upp på Google. Kunder som söker på ditt företagsnamn ser till och med din ofärdiga testsida.

Eller tvärtom: du publicerar ett nytt blogginlägg, väntar två veckor och det syns fortfarande inte på Google. Du frågar din tekniska support och de säger: "Robots.txt-filen blockerar Google från att crawla hela webbplatsen."

Båda situationerna handlar om en liten fil som få webbansvariga lägger märke till: robots.txt.

Den här artikeln förklarar vad robots.txt är, hur den fungerar, när du behöver ändra den och vanliga misstag som företag bör undvika – allt på ett enkelt språk med praktiska exempel.

Vad är robots.txt? Förklaring för webbansvariga

Om sitemappen är en byggnadsplan – som talar om för Google vilka rum som finns – så är robots.txt en "Tillträde förbjuden"-skylt – som talar om för Google vilka rum som inte får besökas.

Tekniskt sett är robots.txt en liten textfil som ligger i webbplatsens rotkatalog (t.ex. https://example.com/robots.txt). Den här filen innehåller regler som talar om för sökmotorernas bots – som Googlebot –:

• Vilka sidor som får crawlas (skannas)
• Vilka sidor som inte får crawlas
• Var sitemappen finns

Du kan se robots.txt för vilken webbplats som helst genom att skriva: dittdoman.se/robots.txt i webbläsaren.

💡 Viktigt: robots.txt är bara en artighet, inte ett absolut förbud. Pålitliga bots som Googlebot följer den, men illvilliga bots (spam, scrapers) kan ignorera den. Om du behöver verklig säkerhet, använd lösenord eller brandvägg – lita inte på robots.txt.

Hur ser en robots.txt-fil ut?

Du behöver inte skriva filen från grunden. Men för att förstå den när du ser den, här är en enkel robots.txt-fil:

User-agent: *
Disallow: /admin/
Disallow: /thanh-toan/
Disallow: /staging/
Allow: /

Sitemap: https://example.com/sitemap.xml

Förklaring av varje rad:

Rad	Betydelse
User-agent: *	Gäller alla bots (Google, Bing, etc.)
Disallow: /admin/	Förhindrar bots från att komma åt katalogen /admin/
Disallow: /thanh-toan/	Förhindrar bots från att komma åt betalningssidan
Disallow: /staging/	Förhindrar bots från att komma åt staging-versionen
Allow: /	Tillåter bots att crawla resten av webbplatsen
Sitemap: https://...	Talar om för bots var sitemappen finns

Här är ett mer komplext exempel – lämpligt för en företagswebbplats med en blogg, en tjänstesida och ett administratörsområde:

# Tillåt alla bots att crawla offentligt innehåll
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_

# Tillåt Googlebot att crawla CSS och JS (nödvändigt för att rendera sidan)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/

Sitemap: https://example.com/sitemap.xml

📝 Obs för utvecklare: Tecknet `*` i sökvägen är ett wildcard – `/ *?utm_` betyder att blockera alla URL:er som innehåller parametern `?utm_`. Tecknet `$` i slutet av sökvägen används för att matcha exakt slutet av URL:en. Till exempel: `Disallow: /*.pdf$` blockerar alla PDF-filer.

Hur fungerar robots.txt i SEO-processen?

För att förstå robots.txt:s plats, titta på processen Google använder för att inkludera webbplatser i sökresultaten:

Crawl → Index → Rank
(Skanna)   (Lagra)   (Rangordna)

Robots.txt fungerar i det första steget – Crawl.

Innan Googlebot börjar skanna någon sida på din webbplats, kontrollerar den robots.txt först. Om en URL listas i Disallow, ignorerar Googlebot den sidan – den skannas inte, innehållet läses inte.

Googlebot vill crawla https://example.com/admin/settings
→ Kontrollerar robots.txt
→ Hittar Disallow: /admin/
→ Ignorerar, crawlar inte

Googlebot vill crawla https://example.com/dich-vu/
→ Kontrollerar robots.txt
→ Blockeras inte
→ Crawlar normalt → Index → Kan visas i sökresultat

Robots.txt och sitemap: en kompletterande duo

Fil	Roll
Sitemap	"Det här är en lista över sidor jag vill att Google ska känna till"
Robots.txt	"Det här är sidor jag inte vill att Google ska skanna"

Dessa två filer motsäger inte varandra – de arbetar tillsammans. Sitemappen visar vägen, robots.txt sätter upp spärrar. Om de används korrekt kan du styra vad Google ser och ignorerar på din webbplats.

Vad används robots.txt till? 4 vanliga scenarier

1. Dölja administratörs- och interna sidor från Google

Admin-sidor, backend-sidor för CMS, staging-sidor, testsidor – allt detta bör inte synas på Google. Robots.txt hjälper dig att tala om för Google: "Gå inte in här."

Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/

2. Undvika att slösa "crawl budget"

Google crawlar inte oändligt. Varje webbplats har en "crawl budget" – antalet sidor som Googlebot skannar under varje besök. Om webbplatsen har många oviktiga sidor (interna söksidor, filtersidor, pagineringssidor) kan Googlebot bli upptagen med att skanna dessa istället för viktiga tjänst- eller bloggsidor.

Disallow: /search?
Disallow: /tag/
Disallow: /page/

💡 Crawl budget är främst viktigt för stora webbplatser (tusentals sidor). Små företagswebbplatser behöver oftast inte oroa sig för mycket, men att hålla robots.txt ren är fortfarande en bra vana.

3. Blockera duplicerat innehåll

Om din webbplats har flera URL:er som leder till samma innehåll (t.ex. en URL med spårningsparametrar ?utm_source=facebook, eller en utskriftsversion ?print=true), kan du blockera dessa duplicerade URL:er:

Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=

4. Peka ut sitemappens plats

Robots.txt är det första stället Googlebot kontrollerar när den kommer till en webbplats. Att ange sitemappens sökväg här hjälper Google att hitta sitemappen snabbare – även om du inte har skickat den via Search Console än.

Sitemap: https://example.com/sitemap.xml

När bör företag bry sig om robots.txt?

Du behöver inte alltid ändra robots.txt. Men det finns tidpunkter då det är obligatoriskt att kontrollera filen:

När webbplatsen lanseras (go-live)

Detta är den viktigaste tidpunkten. Många webbplatser blockeras helt från att crawlas eftersom utvecklarna glömmer att ta bort raden Disallow: / – den rad de placerade där under staging för att Google inte skulle indexera den ofärdiga versionen.

Kontrollera vid go-live:

Kategori	Kontrollmetod
Robots.txt-filen finns	Öppna https://dittdoman.se/robots.txt i webbläsaren
Hela webbplatsen blockeras inte	Se till att det INTE finns en rad Disallow: /
Sitemap är deklarerad	Se till att det FINNS en rad Sitemap: https://dittdoman.se/sitemap.xml
Viktiga sidor blockeras inte	Kontrollera att tjänste-, blogg- och kontaktsidor inte finns i Disallow

✅ När webbplatsen inte indexeras av Google efter flera veckor

Om du har en sitemap, har skickat den via Search Console, men Google indexerar den fortfarande inte – är robots.txt den första misstänkta som behöver kontrolleras.

När du lägger till områden som ska döljas (medlemsområden, interna sidor)

Om webbplatsen lägger till kontoadministreringssidor, medlemsområden eller interna sidor – uppdatera robots.txt för att blockera dessa områden.

Vid byte av webbplattform eller omdesign

Varje plattform (WordPress, Webflow, anpassad kod) skapar olika URL-strukturer. Vid migrering kan den gamla robots.txt felaktigt blockera nya sidor eller missa sidor som behöver blockeras.

När Search Console rapporterar felet "Blocked by robots.txt"

Google Search Console har en rapport för Indexering som visar vilka sidor som blockeras av robots.txt. Om du ser att viktiga sidor blockeras – då är det dags att ändra filen omedelbart.

5 vanliga robots.txt-fel och hur du åtgärdar dem

Fel 1: Hela webbplatsen blockeras – det allvarligaste felet

Symtom: Ingen sida indexeras av Google. Search Console rapporterar massvis med sidor som "Blocked by robots.txt".

Orsak: Robots.txt-filen innehåller:

User-agent: 
Disallow: /

Dessa två rader betyder: "Förbjud alla bots att komma åt någon sida." Detta inträffar oftast när utvecklare placerar dessa regler under staging och glömmer att ta bort dem vid lansering.

Åtgärd: Ändra till:

User-agent: *
Disallow:

Sitemap: https://dittdoman.se/sitemap.xml

Disallow: (ingenting efter dubbelkolonet) = tillåt crawl av allt.

⚠️ Detta är fel nummer 1 vi ser på nya företagswebbplatser. Efter korrigeringen kan det ta några dagar till veckor för Google att crawla om. Skicka in sitemappen igen via Search Console för att påskynda processen.

Fel 2: Blockera CSS och JavaScript

Symtom: Webbplatsen visas normalt i webbläsaren, men när du använder verktyget "URL Inspection" i Search Console ser Google att sidans layout är trasig eller att innehållet saknas.

Orsak: Robots.txt blockerar kataloger som innehåller CSS och JS:

Disallow: /wp-content/
Disallow: /wp-includes/

Google behöver läsa CSS och JS för att förstå hur sidan ser ut (det kallas "rendering"). Om det blockeras kan Google inte rendera sidan → förstår inte innehållet → påverkar rankingen.

Åtgärd:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/

📝 Obs för utvecklare: Sedan 2014 har Google tydligt rekommenderat: blockera inte CSS, JS och bilder i robots.txt. Googlebot behöver dessa resurser för att rendera sidan korrekt. Använd verktyget URL Inspection i Search Console för att kontrollera hur Google renderar din sida.

Fel 3: Felaktigt blockera viktiga sidor

Symtom: Tjänstesidor, produktsidor eller blogginlägg visas inte på Google – även om sitemappen listar dem.

Orsak: Regler i robots.txt är för breda. Exempel:

Disallow: /dich-vu

Den här raden blockerar inte bara /dich-vu/ utan också /dich-vu-thiet-ke-web/, /dich-vu-seo/ och alla URL:er som börjar med /dich-vu.

Åtgärd: Lägg till ett / i slutet av sökvägen för att blockera katalogen exakt:

Disallow: /dich-vu-noi-bo/

Eller använd Allow för att skydda nödvändiga sidor:

Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/

📝 Obs för utvecklare: Ordningen på `Allow` och `Disallow` har betydelse. Googlebot använder den mest specifika sökvägen (most specific path). Om de är lika långa prioriteras `Allow` före `Disallow`. Testa alltid med [Robots Testing Tool](https://support.google.com/webmasters/answer/6062598) i Search Console innan du driftsätter.

Fel 4: Ingen robots.txt-fil

Symtom: Skriv dittdoman.se/robots.txt → får ett 404-fel.

Orsak: Webbplatsen är manuellt byggd och utvecklaren skapade inte filen. Eller filen raderades felaktigt vid driftsättning.

Påverkan: Inte lika allvarligt som fel 1 – om det inte finns någon robots.txt antar Google att alla sidor ska crawlas. Men detta innebär:

• Google kommer att crawla admin-sidor, testsidor och interna sidor
• Du har ingen möjlighet att peka ut sitemappen via robots.txt
• Brist på grundläggande kontroll

Åtgärd: Skapa en robots.txt-fil i rotkatalogen. Minsta innehåll:

User-agent: *
Disallow: /admin/
Disallow: /search?

Sitemap: https://dittdoman.se/sitemap.xml

Fel 5: Använda robots.txt för att dölja sidor från Google (felaktig förståelse)

Symtom: Du blockerar en sida med Disallow, men sidan visas fortfarande på Google – om än utan innehållssnutt.

Orsak: Robots.txt blockerar crawl, inte indexering. Om sidan redan har indexerats, eller om den har en bakåtlänk från en annan webbplats, kan Google behålla URL:en i sökresultaten – den visar bara inte innehållet.

Korrekt åtgärd:

Mål	Använd
Vill inte att Google ska crawla (skanna)	Disallow i robots.txt
Vill inte att Google ska indexera (visa)	-tagg i HTML
Vill inte varken eller	Använd noindex i HTML (och inte blockera i robots.txt)

⚠️ Detta är den mest missförstådda punkten: Om du både blockerar crawl (robots.txt) och lägger till `noindex` (HTML), kommer Google inte att se noindex-taggen eftersom den inte får crawla sidan – och sidan kan fortfarande indexeras. Lösning: använd `noindex` i HTML och ta bort `Disallow`-regeln för den sidan i robots.txt.

Exempel på robots.txt för företagswebbplatser

Här är en mall för robots.txt som passar de flesta SMB-företagswebbplatser:

# =============================================
# Robots.txt för företagswebbplats
# Uppdaterad: 2026-04-20
# =============================================

# Gäller alla bots
User-agent: *

# Blockera administratörs- och interna områden
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/

# Blockera interna söksidor (undvik att slösa crawl budget)
Disallow: /search?
Disallow: /*?s=

# Blockera URL:er med spårningsparametrar (undvik duplicerat innehåll)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=

# Blockera varukorg/betalningssidor (om tillämpligt)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

# Tillåt CSS, JS, bilder (Google behöver dem för att rendera sidan)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/

# Peka ut sitemappen
Sitemap: https://dittdoman.se/sitemap.xml

📝 Obs för utvecklare: Robots.txt-filen måste ligga i rotkatalogen — `https://example.com/robots.txt`. Inte i `/blog/robots.txt` eller en annan underkatalog. Varje subdomän behöver sin egen robots.txt (t.ex. `blog.example.com/robots.txt` separat från `example.com/robots.txt`).

Hur du kontrollerar din webbplats robots.txt

Metod 1: Direktkontroll i webbläsaren

Skriv https://din-webbplats.se/robots.txt i adressfältet. Du kommer att se filens innehåll i textformat. Om du får ett 404-fel – webbplatsen har ingen robots.txt-fil ännu.

Metod 2: Använd Google Search Console

1. Logga in på Google Search Console
2. Gå till Inställningar → Crawling → robots.txt
3. Visa robots.txt-filen som Google läser
4. Kontrollera om en specifik URL blockeras

Metod 3: Kontrollera i Indexeringsrapporten

I Search Console → Sidor (eller Indexering) → Leta efter avsnittet "Blocked by robots.txt". Om det finns viktiga sidor i den här listan behöver du ändra robots.txt omedelbart.

💡 Det är rekommenderat att kontrollera robots.txt minst en gång per kvartal eller närhelst webbplatsen genomgår stora förändringar (t.ex. lägger till sidor, ändrar struktur, migrerar plattform).

Sammanfattande tabell: Vad robots.txt bör blockera och inte blockera

✅ BÖR blockera	❌ BÖR INTE blockera
Administratörssidor (/admin/, /wp-admin/)	Startsida, tjänstesidor, kontaktsidor
Staging / test-sidor	Blogginlägg, artiklar
Interna söksidor (/search?)	CSS- och JavaScript-filer
URL:er med spårningsparametrar (?utm_, ?fbclid=)	Bilder (Google Images genererar också trafik)
Varukorgs-, betalnings-, personliga kontosidor	Sitemaps
Sidor med duplicerat innehåll (filter, sortering, paginering)	FAQ-sidor, fallstudier

Vanliga frågor om robots.txt

Hur skiljer sig robots.txt från sitemap?

Sitemap säger: "Det här är sidor jag vill att Google ska känna till." Robots.txt säger: "Det här är sidor jag inte vill att Google ska skanna." De två filerna kompletterar varandra – sitemap visar vägen in, robots.txt sätter upp spärrar.

Om det inte finns någon robots.txt, kan Google crawla webbplatsen?

Ja. Utan robots.txt antar Google att alla sidor ska crawlas – inklusive de du inte vill ska vara det. Det är därför filen bör finnas.

Jag använder WordPress, var finns robots.txt?

WordPress skapar en virtuell robots.txt. Om du använder ett SEO-plugin som Yoast eller Rank Math kan du redigera robots.txt direkt i pluginet utan att behöva komma åt servern.

Påverkar robots.txt webbplatsens hastighet?

Nej. Filen är bara några KB stor. Den påverkar inte sidans laddningshastighet.

Jag har blockerat en sida med robots.txt, varför visas den fortfarande på Google?

Eftersom robots.txt bara blockerar crawl, inte indexering. Om du vill att en sida helt ska försvinna från Google, använd taggen i HTML – och blockera inte den sidan i robots.txt (så att Google kan läsa noindex-taggen).

Hur lång tid tar det för Google att uppdatera efter att jag har ändrat robots.txt?

Google kontrollerar vanligtvis robots.txt igen inom 24-48 timmar. Du kan gå till Search Console → Inställningar → Crawling för att begära att Google kontrollerar igen tidigare.

Slutsats

Robots.txt är en liten fil – ofta bara några rader – men den påverkar direkt om Google ser din webbplats eller inte.

Saker att komma ihåg:

1. Robots.txt är en "Tillträde förbjuden"-skylt: talar om för Google vilka sidor som inte ska skannas
2. Kontrollera omedelbart vid webbplatslansering: felet att blockera hela webbplatsen är det vanligaste och allvarligaste
3. Använd inte robots.txt för att dölja sidor från Google: den blockerar crawl, inte indexering
4. Tillåt alltid CSS och JS: Google behöver rendera sidan för att förstå innehållet
5. Kombinera med sitemap och Search Console: för fullständig kontroll över Googles crawl- och indexeringsprocess av din webbplats

Kontrollera din webbplattforms inställningar

Robots.txt är bara en av många tekniska faktorer som påverkar SEO. Om du undrar: "Är min webbplats korrekt konfigurerad?" – svaret finns i den plattform du använder.

GTG CRM hjälper dig att få en webbplats med korrekt robots.txt, automatisk sitemap och en teknisk struktur redo för Google – du behöver inte oroa dig för att redigera enskilda filer eller kodrader.