Du har en sitemap, den har skickats till Google, och din webbplats börjar bli indexerad. Men en dag upptäcker du att administrationssidan, interna betalningssidan eller staging-sidan för din webbplats också visas på Google. Kunder som söker på ditt företagsnamn – ser direkt den ofullständiga testsidan.
Eller tvärtom: du publicerar ett nytt blogginlägg, väntar i två veckor och ser det fortfarande inte på Google. När du frågar den tekniska enheten säger de: "Robots.txt-filen blockerar Google från att genomsöka hela webbplatsen."
Båda situationerna involverar en liten fil som webbansvariga sällan uppmärksammar: robots.txt.
Den här artikeln kommer att förklara vad robots.txt är, hur det fungerar, när du behöver ändra det, och vanliga misstag som företag bör undvika – allt på ett enkelt språk, med praktiska exempel.
Vad är robots.txt? Förklaring för webbansvariga
Om sitemap är som en byggnadsplan – som talar om för Google vilka rum som finns – då är robots.txt en "Tillträde förbjudet"-skylt – som talar om för Google vilka rum som inte får besökas.
Tekniskt sett: robots.txt är en liten textfil som ligger i webbplatsens rotkatalog (exempelvis: https://example.com/robots.txt). Den här filen innehåller regler som talar om för sökmotorernas bottar – som Googlebot –:
- Vilka sidor som får genomsökas (crawlas)
- Vilka sidor som inte får genomsökas
- Var sitemappen finns
Du kan se robots.txt för vilken webbplats som helst genom att skriva: domännamn.com/robots.txt i din webbläsare.
💡 Viktigt: robots.txt är bara en vänlig begäran, inte ett absolut förbud. Ansvariga bottar som Googlebot kommer att följa den, men onda bottar (spam, skrapor) kan ignorera den. Om du behöver verklig säkerhet, använd lösenord eller en brandvägg – förlita dig inte på robots.txt.
Hur ser en robots.txt-fil ut?
Du behöver inte skriva den här filen från grunden. Men för att förstå när du ser den, här är en enkel robots.txt-fil:
User-agent: *
Disallow: /admin/
Disallow: /thanh-toan/
Disallow: /staging/
Allow: /
Sitemap: https://example.com/sitemap.xmlFörklaring av varje rad:
| Rad | Betydelse |
|---|---|
User-agent: * | Gäller alla bottar (Google, Bing, etc.) |
Disallow: /admin/ | Förbjud bottar att komma åt katalogen /admin/ |
Disallow: /thanh-toan/ | Förbjud bottar att komma åt betalningssidan |
Disallow: /staging/ | Förbjud bottar att komma åt staging-versionen |
Allow: / | Tillåt bottar att genomsöka resten av webbplatsen |
Sitemap: https://... | Talar om för botten var sitemappen finns |
Här är ett mer komplext exempel – lämpligt för företagswebbplatser med blogg, servicesidor och administrationsområden:
# Tillåt alla bottar att genomsöka publikt innehåll
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_
# Tillåt Googlebot att genomsöka CSS och JS (nödvändigt för att rendera sidan)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/
Sitemap: https://example.com/sitemap.xml📝 Notering för utvecklare: Tecknet `` i sökvägen är ett wildcard — `/?utm_` betyder att blockera alla URL:er som innehåller parametern `?utm_`. Tecknet `$` i slutet av sökvägen används för att exakt matcha slutet av en URL. Exempelvis: `Disallow: /*.pdf$` blockerar alla PDF-filer.
Hur fungerar robots.txt i SEO-processen?
För att förstå var robots.txt passar in, låt oss titta på hur Google inkluderar webbsidor i sina sökresultat:
Crawl → Index → Rank
(Genomsökning) (Indexering) (Rangordning)Robots.txt fungerar i det första steget - Crawl.
Innan Googlebot börjar genomsöka någon sida på din webbplats, kontrollerar den robots.txt först. Om en URL listas under Disallow, kommer Googlebot att ignorera sidan - inte genomsöka, inte läsa innehållet.
Googlebot vill genomsöka https://example.com/admin/settings
→ Kontrollerar robots.txt
→ Hittar Disallow: /admin/
→ Ignorerar, genomsöker inte
Googlebot vill genomsöka https://example.com/dich-vu/
→ Kontrollerar robots.txt
→ Blockeras inte
→ Genomsöker normalt → Indexerar → Kan visas i sökresultatRobots.txt och sitemap: ett kompletterande par
| Fil | Roll |
|---|---|
| Sitemap | "Det här är en lista över sidor som jag vill att Google ska känna till" |
| Robots.txt | "Det här är sidor som jag inte vill att Google ska genomsöka" |
Dessa två filer motsäger inte varandra - de arbetar tillsammans. Sitemap pekar vägen, robots.txt sätter upp spärrar. Om de kombineras korrekt kan du styra vad Google ser och ignorerar på din webbplats.
Vad används robots.txt till? 4 vanliga fall
1. Dölj administrativa och interna sidor från Google
Administratörssidor, backend CMS-sidor, staging-sidor, testsidor - alla dessa bör inte visas på Google. Robots.txt hjälper dig att säga till Google: "Gå inte hit."
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/2. Undvik slöseri med "crawl budget"
Google genomsöker inte oändligt. Varje webbplats har en "crawl budget" - antalet sidor som Googlebot kommer att genomsöka vid varje besök. Om webbplatsen har många oviktiga sidor (interna sökresultatsidor, filter-sidor, sidnumreringssidor), kan Googlebot vara upptagen med att genomsöka dessa istället för viktiga tjänstsidor eller blogginlägg.
Disallow: /search?
Disallow: /tag/
Disallow: /page/💡 Crawl budget är främst viktigt för stora webbplatser (tusentals sidor). Små företagswebbplatser behöver oftast inte oroa sig för mycket, men att hålla robots.txt ren är fortfarande en god vana.
3. Blockera duplicerat innehåll
Om din webbplats har flera URL:er som leder till samma innehåll (till exempel URL:er med spårningsparametrar ?utm_source=facebook, eller utskriftsversioner ?print=true), kan du blockera dessa duplicerade URL:er:
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=4. Peka till sitemap
Robots.txt är den första platsen Googlebot kontrollerar när den besöker en webbplats. Att placera sitemap-länken här hjälper Google att hitta sitemap snabbare - även om du inte har skickat den via Search Console.
Sitemap: https://example.com/sitemap.xmlNär behöver företag vara uppmärksamma på robots.txt?
Du behöver inte alltid ändra robots.txt. Men det finns tillfällen då det är obligatoriskt att kontrollera filen:
När webbplatsen lanseras (go-live)
Det här är den viktigaste tidpunkten. Många webbplatser blockeras helt från att genomsökas eftersom utvecklarna glömmer att ta bort raden Disallow: / - en rad de placerade under staging för att hindra Google från att indexera den ofullständiga versionen.
Kontrollera vid go-live:
| Kategori | Hur man kontrollerar |
|---|---|
| Robots.txt-fil finns | Öppna https://doman.com/robots.txt i webbläsaren |
| Blockerar inte hela webbplatsen | Se till att det INTE finns en rad Disallow: / |
| Sitemap deklarerad | Se till att det FINNS en rad Sitemap: https://doman.com/sitemap.xml |
| Viktiga sidor blockeras inte | Kontrollera att tjänstesidor, blogg, kontaktsidor inte finns i Disallow |
✅ När webbplatsen inte indexeras av Google efter flera veckor
Om du redan har en webbplatskarta (sitemap) som har skickats via Search Console, men Google fortfarande inte indexerar den – är robots.txt den första misstänkta du bör kontrollera.
När du lägger till områden som ska döljas (medlemsområden, interna sidor)
Om din webbplats lägger till sidor för kontohantering, medlemsområden eller interna sidor – uppdatera robots.txt för att blockera dessa områden.
När du byter webbplattform eller redesignar
Varje plattform (WordPress, Webflow, anpassad kod) skapar olika URL-strukturer. Vid migrering kan en gammal robots.txt felaktigt blockera nya sidor eller missa sidor som bör blockeras.
När Search Console rapporterar felet "Blockerad av robots.txt"
Google Search Console har en rapport för Indexering som visar vilka sidor som blockeras av robots.txt. Om du ser att viktiga sidor blockeras – är det dags att redigera filen omedelbart.
5 vanliga robots.txt-fel och hur man åtgärdar dem
Fel 1: Blockerar hela webbplatsen – det allvarligaste felet
Symptom: Ingen sida indexeras av Google. Search Console rapporterar en mängd sidor som "Blockerad av robots.txt".
Orsak: Robots.txt-filen innehåller:
User-agent:
Disallow: /Dessa två rader betyder: "Förbjud alla bots att besöka alla sidor." Detta händer ofta när utvecklare lägger in denna regel under staging och glömmer att ta bort den när webbplatsen går live.
Åtgärd: Ändra till:
User-agent: *
Disallow:
Sitemap: https://ten-mien.com/sitemap.xmlDisallow: (ingenting efter kolon) = tillåt crawlning av allt.
⚠️ Detta är det första felet vi ser på nya företagswebbplatser. Efter att ha åtgärdat det kan det ta flera dagar till veckor för Google att crawla om webbplatsen. Skicka in sitemapen igen via Search Console för att påskynda processen.
Fel 2: Blockerar CSS och JavaScript
Symptom: Webbplatsen visas normalt i webbläsaren, men när du använder verktyget "URL Inspection" i Search Console ser Google att sidan har trasig layout eller saknar innehåll.
Orsak: Robots.txt blockerar mapparna som innehåller CSS och JS:
Disallow: /wp-content/
Disallow: /wp-includes/Google behöver kunna läsa CSS och JS för att förstå hur sidan ser ut (detta kallas "rendering"). Om det blockeras kan Google inte rendera sidan → förstår inte innehållet → påverkar rankingen.
Åtgärd:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/📝 Notering för utvecklare: Sedan 2014 har Google tydligt rekommenderat: blockera inte CSS, JS och bilder i robots.txt. Googlebot behöver dessa resurser för att rendera sidan korrekt. Använd verktyget URL Inspection i Search Console för att kontrollera hur Google renderar din sida.
Fel 3: Felaktigt blockerar viktiga sidor
Symptom: Tjänstesidor, produktsidor eller blogginlägg visas inte på Google – trots att de finns med i sitemapen.
Orsak: Regeln i robots.txt är för bred. Till exempel:
Disallow: /dich-vuDenna rad blockerar inte bara /dich-vu/ utan även /dich-vu-thiet-ke-web/, /dich-vu-seo/, och alla URL:er som börjar med /dich-vu.
Åtgärd: Lägg till ett / i slutet av sökvägen för att blockera exakt den mappen:
Disallow: /dich-vu-noi-bo/
Eller använd Allow för att skydda nödvändiga sidor:
Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/📝 Notering för utvecklare: Ordningen på `Allow` och `Disallow` spelar roll. Googlebot använder den mest specifika sökvägen (most specific path). Om de har samma längd prioriteras `Allow` före `Disallow`. Testa alltid med Robots Testing Tool i Search Console innan du driftsätter.
Fel 4: Ingen robots.txt-fil
Symptom: Typing ten-mien.com/robots.txt → returns a 404 error.
Cause: The website is built manually and the developer did not create this file. Or the file was accidentally deleted during deployment.
Impact: Not as serious as error 1 - if there is no robots.txt, Google defaults to crawling everything. But this means:
- Google will crawl the admin page, test pages, internal pages
- You have no way to point to the sitemap via robots.txt
- Lack of basic control
Solution: Create a robots.txt file in the root directory. Minimum content:
User-agent: *
Disallow: /admin/
Disallow: /search?
Sitemap: https://ten-mien.com/sitemap.xmlError 5: Using robots.txt to hide pages from Google (misunderstanding the purpose)
Symptom: You block a page with Disallow, but the page still appears on Google - although without a content snippet.
Cause: Robots.txt blocks crawling, not indexing. If the page was indexed previously, or has a backlink from another website pointing to it, Google may keep the URL in the search results - it just won't display the content.
Correct Solution:
| Objective | What to use |
|---|---|
| Don't want Google to crawl | Disallow in robots.txt |
| Don't want Google to index (display) | The |
| Don't want either | Use noindex in HTML (and do not block in robots.txt) |
⚠️ This is the most common point of misunderstanding: If you both block crawling (robots.txt) and set `noindex` (HTML), Google will not see the noindex tag because it is not allowed to crawl that page — and the page may still be indexed. Solution: use `noindex` in HTML and remove the `Disallow` rule for that page in robots.txt.
Sample robots.txt for business websites
Below is a sample robots.txt file suitable for most SMB business websites:
# =============================================
# Robots.txt for business websites
# Updated: 2026-04-20
# =============================================
# Applies to all bots
User-agent: *
# Block admin and internal areas
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/
# Block internal search pages (to avoid wasting crawl budget)
Disallow: /search?
Disallow: /*?s=
# Block URLs with tracking parameters (to avoid duplicate content)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=
# Block cart/checkout pages (if any)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
# Allow CSS, JS, images (Google needs them to render the page)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/
# Point to the sitemap
Sitemap: https://ten-mien.com/sitemap.xml📝 Dev Note: The robots.txt file must be located at the root domain — `https://example.com/robots.txt`. Not in `/blog/robots.txt` or another subdirectory. Each subdomain needs its own robots.txt (e.g., `blog.example.com/robots.txt` is separate from `example.com/robots.txt`).
How to check your website's robots.txt
Method 1: Check directly in the browser
Type https://ten-mien-cua-ban.com/robots.txt into the address bar. You will see the file's content in text format. If you see a 404 error — the website does not have robots.txt yet.
Method 2: Use Google Search Console
- Logga in på Google Search Console
- Gå till Inställningar → Crawling → robots.txt
- Granska robots.txt-filen som Google läser
- Kontrollera om den specifika URL:en är blockerad
Metod 3: Kontrollera i Indexeringsrapporten
I Search Console → Sidor (eller Indexering) → Leta efter avsnittet "Blockerad av robots.txt". Om viktiga sidor finns med i den här listan måste du korrigera robots.txt omedelbart.
💡 Det är rekommenderat att kontrollera robots.txt minst en gång per kvartal eller närhelst det sker större ändringar på webbplatsen (ny sida, ändrad struktur, plattformsflytt).
Sammanfattningstabell: Vad robots.txt bör blockera och inte bör blockera
| ✅ BÖR blockeras | ❌ BÖR INTE blockeras |
|---|---|
Administrationssidor (/admin/, /wp-admin/) | Startsida, tjänstesidor, kontaktsidor |
| Staging-/testsidor | Blogginlägg, artiklar |
Interna söksidor (/search?) | CSS- och JavaScript-filer |
URL:er med spårningsparametrar (?utm_, ?fbclid=) | Bilder (Google Bilder ger också trafik) |
| Kundvagnsidor, kassasidor, personliga kontosidor | Sitemap |
| Sidor med duplicerat innehåll (filter, sortering, paginering) | FAQ-sidor, fallstudier |
Vanliga frågor om robots.txt
Vad är skillnaden mellan robots.txt och sitemap?
Sitemap säger: "Här är sidor jag vill att Google ska känna till." Robots.txt säger: "Här är sidor jag inte vill att Google ska genomsöka." De två filerna kompletterar varandra – sitemap visar vägen in, robots.txt sätter upp spärrar.
Om jag inte har en robots.txt, kan Google då genomsöka webbplatsen?
Ja. Utan en robots.txt genomsöker Google som standard alla sidor – inklusive de du inte vill ha. Det är därför det är viktigt att ha den här filen.
Jag använder WordPress, var finns robots.txt?
WordPress skapar en virtuell robots.txt. Om du använder ett SEO-plugin som Yoast eller Rank Math kan du redigera robots.txt direkt i pluginet utan att behöva komma åt servern.
Påverkar robots.txt webbplatsens hastighet?
Nej. Filen är bara några KB stor. Den påverkar inte sidans laddningstid.
Jag har blockerat en sida med robots.txt, varför visas den fortfarande på Google?
Eftersom robots.txt endast blockerar genomsökning, inte indexering. Om du vill att en sida helt ska försvinna från Google, använd taggen i HTML – och inte blockera sidan i robots.txt (så att Google kan läsa noindex-taggen).
Hur lång tid tar det för Google att uppdatera efter att jag har ändrat robots.txt?
Google kontrollerar vanligtvis robots.txt igen inom 24-48 timmar. Du kan gå till Search Console → Inställningar → Crawling för att begära att Google kontrollerar den tidigare.
Slutsats
Robots.txt är en liten fil – oftast bara några rader – men den påverkar direkt om Google kan se din webbplats eller inte.
Saker att komma ihåg:
- Robots.txt är en "Begränsat område"-skylt: den talar om för Google vilka sidor som inte får genomsökas.
- Kontrollera direkt när webbplatsen går live: felaktig blockering av hela webbplatsen är ett vanligt och allvarligt problem.
- Använd inte robots.txt för att dölja sidor från Google: den blockerar genomsökning, inte indexering.
- Tillåt alltid CSS och JS: Google behöver rendera sidan för att förstå innehållet.
- Kombinera med sitemap och Search Console: för att helt kontrollera hur Google genomsöker och indexerar webbplatsen.
Kontrollera din webbplats plattform
Robots.txt är bara en av många tekniska faktorer som påverkar SEO. Om du undrar: "Är min webbplats korrekt konfigurerad?" – svaret ligger i plattformen du använder.
GTG CRM hjälper dig att få en webbplats med korrekt robots.txt, automatisk sitemap och en teknisk struktur som är redo för Google – du behöver inte oroa dig för att ändra enskilda filer eller kodrader.
Omvandla det du just läst till konkreta resultat — börja använda GTG CRM gratis.
Börja använda nu
