Vad är robots.txt och när bör företag bry sig om denna fil?

Vad är robots.txt och när bör företag bry sig om denna fil?

Du har en sitemap, har skickat den till Google, och din webbplats börjar indexeras. Men en dag upptäcker du att administrationssidan (admin), interna betalningssidor eller staging-sidor för din webbplats också visas på Google. Kunder som söker på ditt företagsnamn ser till och med en ofärdig testsida.

Eller tvärtom: du publicerar nya blogginlägg, väntar två veckor, och de syns fortfarande inte på Google. När du frågar tekniska personalen får du svaret: "robots.txt-filen blockerar Google från att genomsöka hela webbplatsen."

Båda situationerna involverar en liten fil som få webbansvariga lägger märke till: robots.txt.

Denna artikel förklarar vad robots.txt är, hur den fungerar, när du behöver redigera den, och vanliga misstag som företag bör undvika – allt på ett enkelt språk, med verkliga exempel.

Vad är robots.txt? Förklaring för webbansvariga

Om sitemap är en ritning över en byggnad – som visar Google vilka rum som finns – så är robots.txt en skylt för "Tillträde förbjudet" – som talar om för Google vilka rum som inte får besökas.

Tekniskt sett är robots.txt en liten textfil som ligger i rotkatalogen för webbplatsen (t.ex. https://example.com/robots.txt). Denna fil innehåller regler som talar om för sökmotorernas botar – som Googlebot – följande:

• Vilka sidor som får genomsökas
• Vilka sidor som inte får genomsökas
• Var sitemaps finns

Du kan se robots.txt för vilken webbplats som helst genom att skriva: domännamn.se/robots.txt i webbläsaren.

💡 Viktigt: robots.txt är bara en artighet, ingen absolut regel. Välrenommerade botar som Googlebot kommer att följa den, men illvilliga botar (spam, skrapare) kan ignorera den. Om du behöver verklig säkerhet, använd lösenord eller en brandvägg – lita inte bara på robots.txt.

Hur ser en robots.txt-fil ut?

Du behöver inte skriva filen från grunden. Men för att förstå när du ser den, här är en enkel robots.txt-fil:

User-agent: *
Disallow: /admin/
Disallow: /betalning/
Disallow: /staging/
Allow: /

Sitemap: https://example.com/sitemap.xml

Förklaring av varje rad:

Rad	Betydelse
User-agent: *	Gäller alla botar (Google, Bing, etc.)
Disallow: /admin/	Tillåt inte botar att komma in i katalogen /admin/
Disallow: /betalning/	Tillåt inte botar att komma till betalningssidan
Disallow: /staging/	Tillåt inte botar att komma till staging-versionen
Allow: /	Tillåt botar att genomsöka resten av webbplatsen
Sitemap: https://...	Talar om för boten var sitemaps finns

Här är ett mer komplext exempel – lämpligt för en företagswebbplats med blogg, servicesidor och ett administrativt område:

# Tillåt alla botar att genomsöka publikt innehåll
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_

# Tillåt Googlebot att genomsöka CSS och JS (nödvändigt för att rendera sidan)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/

Sitemap: https://example.com/sitemap.xml

📝 Notering för utvecklare: Tecknet * i sökvägen är ett wildcard – /*?utm_ betyder att blockera alla URL:er som innehåller parametern ?utm_. Tecknet $ i slutet av sökvägen används för att matcha exakt slutet av en URL. Till exempel: Disallow: /*.pdf$ kommer att blockera alla PDF-filer.

---

Hur fungerar robots.txt i SEO-processen?

För att förstå robots.txt:s plats, titta på processen för hur Google lägger till webbplatser i sökresultaten:

Crawl → Index → Rank
(Genomsöka) (Lagring) (Rankning)

robots.txt fungerar i det första steget – Crawl.

Innan Googlebot börjar genomsöka någon sida på din webbplats, kontrollerar den robots.txt först. Om en URL listas i Disallow, ignorerar Googlebot den sidan – den genomsöks inte, innehållet läses inte.

Googlebot vill genomsöka https://example.com/admin/settings
→ Kontrollerar robots.txt
→ Ser Disallow: /admin/
→ Ignorerar, genomsöker inte

Googlebot vill genomsöka https://example.com/services/
→ Kontrollerar robots.txt
→ Blockeras inte
→ Genomsöker normalt → Indexeras → Kan visas i sökresultaten

robots.txt och sitemap: en kompletterande duo

Fil	Roll
Sitemap	"Det här är listan över sidor jag vill att Google ska känna till"
robots.txt	"Det här är sidorna jag inte vill att Google ska genomsöka"

Dessa två filer motsäger inte varandra – de arbetar tillsammans. Sitemap visar vägen, robots.txt sätter upp spärrar. Genom att kombinera dem korrekt kan du styra vad Google ser och ignorerar på din webbplats.

Vad används robots.txt till? 4 vanliga fall

1. Dölja administrativa och interna sidor från Google

Admin-sidor, CMS-backend-sidor, staging-sidor, testsidor – allt detta bör inte visas på Google. robots.txt hjälper dig att tala om för Google: "Gå inte hit."

Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/

2. Undvika att slösa "crawl budget"

Google genomsöker inte oändligt. Varje webbplats har en "crawl budget" – antalet sidor som Googlebot kommer att genomsöka under varje besök. Om webbplatsen har många oviktiga sidor (interna sökresultat, filter-sidor, sidindelningar) kan Googlebot vara upptagen med att genomsöka dessa istället för viktiga tjänste- eller bloggsidor.

Disallow: /search?
Disallow: /tag/
Disallow: /page/

💡 Crawl budget är främst viktigt för stora webbplatser (tusentals sidor). Små företagswebbplatser behöver oftast inte oroa sig för mycket, men att hålla robots.txt ren är fortfarande en bra vana.

3. Blockera duplicerat innehåll

Om din webbplats har flera URL:er som leder till samma innehåll (t.ex. URL:er med spårningsparametrar ?utm_source=facebook, eller en utskriftsversion ?print=true), kan du blockera dessa duplicerade URL:er:

Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=

4. Peka ut sitemaps

robots.txt är den första platsen Googlebot kontrollerar när den besöker en webbplats. Att placera sitemap-länken här hjälper Google att hitta sitemaps snabbare – även om du inte har skickat den via Search Console.

Sitemap: https://example.com/sitemap.xml

När bör företag bry sig om robots.txt?

Du behöver inte alltid redigera robots.txt. Men det finns tillfällen då det är obligatoriskt att kontrollera denna fil:

När webbplatsen precis har lanserats (go-live)

Detta är den viktigaste tidpunkten. Många webbplatser blockeras helt från genomsökning eftersom utvecklarna glömmer att ta bort raden Disallow: / – en rad som de placerade under staging-fasen för att Google inte skulle indexera den ofärdiga versionen.

Kontrollera vid lansering:

Kategori	Hur man kontrollerar
robots.txt-filen finns	Öppna https://domännamn.se/robots.txt i webbläsaren
Hela webbplatsen blockeras inte	Se till att det INTE finns en rad Disallow: /
Sitemap deklareras	Se till att det FINNS en rad Sitemap: https://domännamn.se/sitemap.xml
Viktiga sidor blockeras inte	Kontrollera att tjänste-, blogg- och kontaktsidor inte finns i Disallow

✅ När webbplatsen inte indexeras av Google efter flera veckor

Om du har en sitemap, har skickat den via Search Console, men Google indexerar den ändå inte – robots.txt är den första misstänkta att kontrollera.

När du lägger till områden som ska döljas (medlemsidor, interna sidor)

Om webbplatsen lägger till sidor för konto hantering, medlemsområden eller interna sidor – uppdatera robots.txt för att blockera dessa områden.

Vid byte av webbplattforms- eller omdesign

Varje plattform (WordPress, Webflow, anpassad kod) skapar en annan URL-struktur. Vid migrering kan gamla robots.txt-regler felaktigt blockera nya sidor eller missa sidor som behöver blockeras.

När Search Console rapporterar felet "Blocked by robots.txt"

Google Search Console har en Indexering-rapport som visar vilka sidor som blockeras av robots.txt. Om du ser att viktiga sidor blockeras – då är det dags att ändra filen omedelbart.

5 vanliga robots.txt-fel och hur man åtgärdar dem

Fel 1: Blockera hela webbplatsen – det allvarligaste felet

Symptom: Inga sidor indexeras av Google. Search Console rapporterar många sidor som "Blocked by robots.txt".

Orsak: robots.txt-filen innehåller:

User-agent: 
Disallow: /

Dessa två rader betyder: "Förbjud alla botar att komma till någon sida." Detta händer oftast när utvecklare sätter dessa regler under staging och glömmer att ta bort dem vid lansering.

Åtgärd: Ändra till:

User-agent: *
Disallow:

Sitemap: https://domännamn.se/sitemap.xml

Disallow: (ingenting efter kolonet) = tillåt genomsökning av allt.

⚠️ Detta är fel nr 1 vi ser på nya företagswebbplatser. Efter korrigering kan det ta några dagar till några veckor för Google att genomsöka igen. Skicka in sitemaps igen via Search Console för att påskynda processen.

---

Fel 2: Blockera CSS och JavaScript

Symptom: Webbplatsen visas normalt i webbläsaren, men när du använder verktyget "URL Inspection" i Search Console ser Google att sidan har en trasig layout eller saknar innehåll.

Orsak: robots.txt blockerar kataloger som innehåller CSS och JS:

Disallow: /wp-content/
Disallow: /wp-includes/

Google behöver läsa CSS och JS för att förstå hur sidan ser ut (detta kallas "rendering"). Om dessa blockeras, kan Google inte rendera sidan → förstår inte innehållet → påverkar rankningen.

Åtgärd:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/

📝 Notering för utvecklare: Sedan 2014 har Google tydligt rekommenderat: blockera inte CSS, JS och bilder i robots.txt. Googlebot behöver dessa resurser för att rendera sidan korrekt. Använd verktyget URL Inspection i Search Console för att kontrollera hur Google renderar din sida.

Fel 3: Felaktigt blockera viktiga sidor

Symptom: Tjänstesidor, produktsidor eller blogginlägg visas inte på Google – trots att sitemaps listar dem.

Orsak: Regler i robots.txt är för breda. Till exempel:

Disallow: /services

Denna rad blockerar inte bara /services/ utan även /services-web-design/, /services-seo/, och alla URL:er som börjar med /services.

Åtgärd: Lägg till ett / i slutet av sökvägen för att blockera katalogen exakt:

Disallow: /internal-services/

Eller använd Allow för att skydda nödvändiga sidor:

Disallow: /internal-services/
Allow: /services/
Allow: /services-web-design/

📝 Notering för utvecklare: Ordningen av Allow och Disallow är viktig. Googlebot använder den mest specifika sökvägen (most specific path). Om de är lika långa, har Allow företräde framför Disallow. Testa alltid med Robots Testing Tool i Search Console innan du implementerar.

Fel 4: Ingen robots.txt-fil

Symptom: Ange domännamn.se/robots.txt → returnerar 404-fel.

Orsak: Webbplatsen är manuellt byggd och utvecklaren skapade inte denna fil. Eller filen raderades felaktigt vid implementering.

Påverkan: Inte lika allvarligt som fel 1 – om ingen robots.txt finns, genomsöker Google allt som standard. Men det innebär:

• Google kommer att genomsöka admin-sidor, testsidor, interna sidor
• Du har inget sätt att peka ut sitemaps via robots.txt
• Grundläggande kontroll saknas

Åtgärd: Skapa en robots.txt-fil i rotkatalogen. Minimalt innehåll:

User-agent: *
Disallow: /admin/
Disallow: /search?

Sitemap: https://domännamn.se/sitemap.xml

---

Fel 5: Använda robots.txt för att dölja sidor från Google (missförstådd syfte)

Symptom: Du blockerar en sida med Disallow, men sidan visas ändå på Google – även om det inte finns någon innehållssnutt.

Orsak: robots.txt blockerar genomsökning, inte indexering. Om sidan redan har indexerats tidigare, eller om det finns en backlink från en annan webbplats som pekar på den, kan Google behålla URL:en i sökresultaten – den visar bara inte innehållet.

Korrekt åtgärd:

Mål	Vad ska användas
Vill inte att Google ska genomsöka	Disallow i robots.txt
Vill inte att Google ska indexera (visa)	<meta name="robots" content="noindex">-tagg i HTML
Vill inte ha något av ovanstående	Använd noindex i HTML (och inte blockera i robots.txt)

⚠️ Detta är den punkt som oftast missförstås: Om du både blockerar genomsökning (robots.txt) och sätter noindex (HTML), kommer Google inte att se noindex-taggen eftersom den inte får genomsöka sidan – och sidan kan fortfarande indexeras. Lösning: Använd noindex i HTML och ta bort Disallow-regeln för den sidan i robots.txt.

Exempel på robots.txt för företagswebbplatser

Här är en mall för robots.txt som passar de flesta SMB-företagswebbplatser:

# =============================================
# Robots.txt för företagswebbplats
# Uppdaterad: 2026-04-20
# =============================================

# Gäller alla botar
User-agent: *

# Blockera administrations- och interna områden
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/

# Blockera interna sökresultat (undvika slöseri med crawl budget)
Disallow: /search?
Disallow: /*?s=

# Blockera URL:er med spårningsparametrar (undvika duplicerat innehåll)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=

# Blockera kundvagn / betalningssidor (om tillämpligt)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

# Tillåt CSS, JS, bilder (Google behöver dessa för att rendera sidan)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/

# Peka ut sitemap
Sitemap: https://domännamn.se/sitemap.xml

📝 Notering för utvecklare: robots.txt-filen måste ligga i rot-domänen – https://example.com/robots.txt. Inte i /blog/robots.txt eller någon annan underkatalog. Varje subdomän behöver en egen robots.txt (t.ex. blog.example.com/robots.txt är separat från example.com/robots.txt).

Hur du kontrollerar din webbplats robots.txt

Metod 1: Kontrollera direkt i webbläsaren

Skriv https://din-webbplats-adress.se/robots.txt i adressfältet. Du kommer att se filens innehåll i textformat. Om du får ett 404-fel – webbplatsen har ingen robots.txt.

Metod 2: Använd Google Search Console

1. Logga in på Google Search Console
2. Gå till Inställningar → Genomsökning → robots.txt
3. Se robots.txt-filen som Google läser
4. Kontrollera om en specifik URL är blockerad

Metod 3: Kontrollera i rapporten Indexering

I Search Console → Sidor (eller Indexering) → Hitta sektionen "Blockerad av robots.txt". Om viktiga sidor finns i denna lista behöver du ändra robots.txt omedelbart.

💡 Det är rekommenderat att kontrollera robots.txt minst en gång per kvartal eller varje gång webbplatsen genomgår stora förändringar (lägga till sidor, ändra struktur, migrera plattform).

Sammanfattande tabell: Vad robots.txt bör och inte bör blockera

✅ BÖR blockeras	❌ BÖR INTE blockeras
Administrationssidor (/admin/, /wp-admin/)	Startsida, tjänstesidor, kontaktsidor
Staging / testsidor	Blogginlägg, artiklar
Interna sökresultat (/search?)	CSS- och JavaScript-filer
URL:er med spårningsparametrar (?utm_, ?fbclid=)	Bilder (Google Images ger också trafik)
Kundvagn, betalnings-, personliga kontosidor	Sitemap
Sidor med duplicerat innehåll (filter, sortering, sidindelning)	FAQ-sidor, fallstudier

---

Vanliga frågor om robots.txt

Vad är skillnaden mellan robots.txt och sitemap?

Sitemap säger: "Här är sidorna jag vill att Google ska känna till." robots.txt säger: "Här är sidorna jag inte vill att Google ska genomsöka." De två filerna kompletterar varandra – sitemap visar vägen in, robots.txt sätter upp spärrar.

Om det inte finns någon robots.txt, kan Google genomsöka webbplatsen då?

Ja. Utan robots.txt genomsöker Google allt som standard – inklusive sidor du inte vill ha. Det är därför det är bra att ha filen.

Jag använder WordPress, var finns robots.txt?

WordPress skapar en virtuell robots.txt. Om du använder ett SEO-plugin som Yoast eller Rank Math kan du redigera robots.txt direkt i pluginet utan att behöva komma åt servern.

Påverkar robots.txt webbplatsens hastighet?

Nej. Filen är bara några KB stor. Den påverkar inte sidladdningshastigheten.

Jag blockerade en sida med robots.txt, varför visas den fortfarande på Google?

Eftersom robots.txt bara blockerar genomsökning, inte indexering. Om sidan redan indexerades tidigare, eller om det finns en länk från en annan webbplats till den, kan Google behålla URL:en i sökresultaten – den visar bara inte innehållet. Om du vill att sidan helt ska försvinna från Google, använd taggen <meta name="robots" content="noindex"> i HTML – och inte blockera sidan i robots.txt (så att Google kan läsa noindex-taggen).

Hur lång tid tar det för Google att uppdatera efter att jag ändrat robots.txt?

Google kontrollerar vanligtvis robots.txt igen inom 24-48 timmar. Du kan gå till Search Console → Inställningar → Genomsökning för att be Google att kontrollera igen tidigare.

Slutsats

robots.txt är en liten fil – ofta bara några rader – men den påverkar direkt huruvida Google ser din webbplats eller inte.

Saker att komma ihåg:

1. robots.txt är en skylt för "Tillträde förbjudet": talar om för Google vilka sidor som inte får genomsökas
2. Kontrollera omedelbart vid lansering: felaktig blockering av hela webbplatsen är ett vanligt och allvarligt problem
3. Använd inte robots.txt för att dölja sidor från Google: den blockerar genomsökning, inte indexering
4. Tillåt alltid CSS och JS: Google behöver rendera sidan för att förstå innehållet
5. Kombinera med sitemap och Search Console: för att helt kontrollera hur Google genomsöker och indexerar webbplatsen

Kontrollera din webbplattforms SEO

robots.txt är bara en av många tekniska faktorer som påverkar SEO. Om du undrar: "Är min webbplats korrekt konfigurerad?" – svaret finns i plattformen du använder.

GTG CRM hjälper dig att få en webbplats med korrekt robots.txt, automatisk sitemap och en teknisk struktur som är redo för Google – du behöver inte oroa dig för att redigera varje fil, varje kodrad.