Sitemap imate, poslali ste ga Googlu, spletno mesto se je začelo tudi indeksirati. Toda nekega dne opazite, da so se na Googlu pojavile tudi skrbniška stran (admin), notranja stran za plačilo ali staging stran vašega spletnega mesta. Stranke vtipkajo ime podjetja - in vidijo tudi nedokončano testno stran.
Ali obratno: objavite novo blog objavo, počakate dva tedna in je še vedno ne vidite na Googlu. Vprašate tehnično ekipo, oni pa rečejo: "Datoteka robots.txt blokira Google pri brskanju po celotnem spletnem mestu."
Obe situaciji sta povezani z majhno datoteko, na katero malo upravljavcev spletnih strani opazi: robots.txt.
Ta članek bo pojasnil, kaj je robots.txt, kako deluje, kdaj ga morate urediti in pogoste napake, ki se jim morajo podjetja izogniti – vse v preprostem jeziku, s praktičnimi primeri.
Kaj je robots.txt? Razlaga za upravljavce spletnih mest
Če je sitemap zemljevid stavbe - ki Googlu pove, katere sobe obstajajo, potem je robots.txt "Območje z omejenim dostopom" - ki Googlu pove, katerih sob ni dovoljeno obiskati.
Tehnično povedano: robots.txt je majhna besedilna datoteka, ki se nahaja v korenski mapi spletnega mesta (na primer: https://example.com/robots.txt). Ta datoteka vsebuje pravila (rules), ki botom iskalnikov - kot je Googlebot - povedo:
- Katere strani je dovoljeno brskati (optimizirati)
- Katere strani ni dovoljeno brskati
- Kje se nahaja sitemap
Robots.txt katerega koli spletnega mesta si lahko ogledate tako, da na brskalniku vtipkate: ime-domene.com/robots.txt.
💡 Pomembno: robots.txt je le vljudna prošnja, ne absolutna prepoved. Ugledni boti, kot je Googlebot, se jih bodo držali, vendar jih lahko zlonamerni boti (spam, scraperji) ignorirajo. Če potrebujete resnično varnost, uporabite geslo ali požarni zid - ne zanašajte se na robots.txt.
Kako izgleda datoteka robots.txt?
Te datoteke vam ni treba napisati sami od začetka. Toda da bi razumeli, kaj gledate, je tukaj preprosta datoteka robots.txt:
User-agent: *
Disallow: /admin/
Disallow: /thanh-toan/
Disallow: /staging/
Allow: /
Sitemap: https://example.com/sitemap.xmlRazlaga vsake vrstice:
| Vrstica | Pomen |
|---|---|
User-agent: * | Velja za vse boti (Google, Bing, itd.) |
Disallow: /admin/ | Ne dovoli botom vstop v mapo /admin/ |
Disallow: /thanh-toan/ | Ne dovoli botom vstop na stran za plačilo |
Disallow: /staging/ | Ne dovoli botom vstop v staging različico |
Allow: / | Dovoli botom brskanje po vseh preostalih delih |
Sitemap: https://... | Botu samo pove, kje je sitemap |
Spodaj je bolj zapleten primer - primeren za spletno mesto podjetja z blogom, stranjo s storitvami in skrbniškim območjem:
# Dovolite vsem botom brskanje po javni vsebini
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_
# Dovolite Googlebotu brskanje po CSS in JS (potrebno za prikaz strani)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/
Sitemap: https://example.com/sitemap.xml📝 Opomba za razvijalce: Zvezdica (``) v poti je wildcard - `/?utm_` pomeni blokiranje vseh URL-jev, ki vsebujejo parameter `?utm_`. Zvezdica na koncu poti se uporablja za natančno ujemanje konca URL-ja. Na primer: `Disallow: /*.pdf$` bo blokiralo vse PDF datoteke.
Kako robots.txt deluje v SEO procesu?
Če želite razumeti položaj robots.txt, si ponovno oglejte postopek, s katerim Google spletno mesto uvrsti v rezultate iskanja:
Crawl → Index → Rank
(Brskanje) (Shranjevanje) (Uvrščanje)Robots.txt deluje v prvem koraku – Crawl.
Preden Googlebot začne brskati po kateri koli strani na vašem spletnem mestu, najprej preveri datoteko robots.txt. Če je URL naveden v Disallow, ga bo Googlebot prezrl – ne bo ga brskal, ne bo bral vsebine.
Googlebot želi crawls https://example.com/admin/settings
→ Preveri robots.txt
→ Vidi Disallow: /admin/
→ Prezre, ne crawl-a
Googlebot želi crawls https://example.com/dich-vu/
→ Preveri robots.txt
→ Ni blokirano
→ Crawl normalno → Index → Mogoče se prikaže v iskalnih rezultatihRobots.txt in sitemap: dopolnjujoč par
| Datoteka | Vloga |
|---|---|
| Sitemap | "To je seznam strani, za katere želim, da jih Google pozna" |
| Robots.txt | "To so strani, za katere ne želim, da jih Google brska" |
Ti dve datoteki ne nasprotujeta – delujeta skupaj. Sitemap kaže pot, robots.txt postavlja ovire. Če ju pravilno kombinirate, lahko nadzorujete, kaj Google vidi in kaj na vašem spletnem mestu preskoči.
Za kaj se uporablja robots.txt? 4 pogosti primeri
1. Skrivanje skrbniških in internih strani pred Googlom
Skrbniške strani, strani z administracijo CMS-a, staging strani, testne strani – vse se ne bi smele pojaviti v Googlu. Robots.txt vam pomaga sporočiti Googlu: "Ne vstopaj tja."
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/2. Izogibanje zapravljanju "crawl budgeta"
Google ne brska neomejeno. Vsako spletno mesto ima "crawl budget" – število strani, ki jih bo Googlebot ob vsakem obisku prebrskal. Če ima spletno mesto veliko nepomembnih strani (strani z notranjim iskanjem, strani s filtri, strani s paginacijo), se lahko Googlebot ukvarja z brskanjem po teh straneh namesto po pomembnih straneh s storitvami ali blogih.
Disallow: /search?
Disallow: /tag/
Disallow: /page/💡 Crawl budget je v glavnem pomemben za velika spletna mesta (tisoče strani). Spletna mesta malih podjetij se običajno ne potrebujejo preveč obremenjevati, vendar je ohranjanje urejenosti datoteke robots.txt še vedno dobra navada.
3. Blokiranje podvojenih vsebin
Če več URL-jev vodi do iste vsebine (na primer URL-ji s sledilnimi parametri ?utm_source=facebook ali različico za tisk ?print=true), lahko blokirate te podvojene URL-je:
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=4. Kazanje poti do sitemapa
Robots.txt je prva stvar, ki jo Googlebot preveri, ko pride na spletno mesto. Če na to mesto dodate pot do sitemapa, bo Google hitreje našel vaš sitemap – tudi če ga še niste poslali prek Search Console.
Sitemap: https://example.com/sitemap.xmlKdaj se morajo podjetja zavedati datoteke robots.txt?
Ne boste vedno potrebovali spreminjati datoteke robots.txt. Vendar pa obstajajo časi, ko je preverjanje te datoteke obvezno:
Ko je spletno mesto novo uvedeno (go-live)
To je najpomembnejši trenutek. Veliko spletnih mest je popolnoma blokiranih za brskanje, ker so razvijalci pozabili odstraniti vrstico Disallow: / – vrstico, ki so jo postavili med stagingom, da Google ne bi indeksiral nedokončane različice.
Preverjanje ob uvedbi:
| Kategorija | Kako preveriti |
|---|---|
| Datoteka robots.txt obstaja | Odprite https://ten-mien.com/robots.txt v brskalniku |
| Ne blokira celotnega spletnega mesta | Prepričajte se, da ni vrstice Disallow: / |
| Dodan je sitemap | Prepričajte se, da obstaja vrstica Sitemap: https://ten-mien.com/sitemap.xml |
| Pomembne strani niso blokirane | Preverite, ali so strani s storitvami, blogi, kontaktne strani navedene v Disallow |
✅ Ko Google po več tednih ne indeksira spletnega mesta
Če imate zemljevid spletnega mesta, ga pošljete prek Search Console, vendar Google ga še vedno ne indeksa - robots.txt je prvi sumljivi element, ki ga je treba preveriti.
Pri dodajanju območij, ki jih je treba skriti (strani članov, interne strani)
Če vaša spletna stran doda strani za upravljanje računa, območja za člane ali interne strani - posodobite robots.txt, da blokirate ta območja.
Pri menjavi platforme spletnega mesta ali redizajnu
Vsaka platforma (WordPress, Webflow, lastna koda) ustvari drugačno strukturo URL-jev. Med migracijo lahko stara datoteka robots.txt pomotoma blokira nove strani ali spregleda strani, ki bi jih bilo treba blokirati.
Ko Search Console sporoči napako "Zablokirano z robots.txt"
Google Search Console ponuja poročilo Indeksiranje, ki pokaže, katere strani so blokirane z robots.txt. Če opazite, da je pomembna stran blokirana - takrat morate takoj spremeniti datoteko.
5 pogostih napak robots.txt in njihova rešitev
Napaka 1: Blokiranje celotnega spletnega mesta - najhujša napaka
Simptomi: Nobena stran ni indeksirana s strani Google. Search Console prikaže številne strani z oznako "Zablokirano z robots.txt".
Vzrok: Datoteka robots.txt vsebuje:
User-agent:
Disallow: /Ti dve vrstici pomenita: "Prepovej vsem botom dostop do katere koli strani." To se pogosto zgodi, ko razvijalec postavi to pravilo med fazo razvoja in ga pozabi odstraniti ob objavi.
Rešitev: Spremenite v:
User-agent: *
Disallow:
Sitemap: https://vasa-domena.com/sitemap.xmlDisallow: (brez ničesar za dvopičjem) = dovoli indeksiranje vsega.
⚠️ To je napaka št. 1, ki jo vidimo na novih poslovnih spletnih mestih. Po popravi lahko Google potrebuje nekaj dni do nekaj tednov, da ponovno indeksira vsebino. Ponovno pošljite zemljevid spletnega mesta prek Search Console, da pospešite postopek.
Napaka 2: Blokiranje CSS in JavaScript
Simptomi: Spletno mesto je videti normalno v brskalniku, vendar ko uporabite orodje "Pregled URL-ja" v Search Console, Google vidi, da je stran zlomljena ali da je vsebina prazna.
Vzrok: Datoteka robots.txt blokira mape, ki vsebujejo CSS in JS:
Disallow: /wp-content/
Disallow: /wp-includes/Google potrebuje branje CSS in JS, da razume, kako stran izgleda (to se imenuje "rendering"). Če je blokirano, Google ne more prikazati strani -> ne razume vsebine -> vpliva na uvrstitev.
Rešitev:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/📝 Opomba za razvijalce: Od leta 2014 Google jasno priporoča: ne blokirajte CSS, JS in slik v datoteki robots.txt. Googlebot potrebuje te vire za pravilno prikazovanje strani. Uporabite orodje za pregled URL-ja v Search Console, da preverite, kako Google prikazuje vašo stran.
Napaka 3: Pomotoma blokiranje pomembne strani
Simptomi: Stran storitev, stran izdelkov ali blog objave se ne pojavijo na Googlu - čeprav so navedeni na zemljevidu spletnega mesta.
Vzrok: Pravilo v datoteki robots.txt je preveč široko. Na primer:
Disallow: /dich-vuTa vrstica blokira ne samo /dich-vu/, ampak tudi /dich-vu-thiet-ke-web/, /dich-vu-seo/ in kateri koli URL, ki se začne z /dich-vu.
Rešitev: Dodajte znak / na konec poti, da natančno blokirate mapo:
Disallow: /dich-vu-noi-bo/
Ali pa uporabite Allow za zaščito potrebnih strani:
Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/📝 Opomba za razvijalce: Zaporedje `Allow` in `Disallow` je pomembno. Googlebot uporablja najbolj specifično pot. Če sta enake dolžine, ima `Allow` prednost pred `Disallow`. Vedno testirajte z Orodjem za testiranje robots.txt v Search Console pred uvedbo.
Napaka 4: Manjkajoča datoteka robots.txt
Manifestacija: Vnesite ten-mien.com/robots.txt → vrne napako 404.
Vzrok: Spletna stran je ročno izdelana, dev pa te datoteke ni ustvaril. Ali pa je bila datoteka pomotoma izbrisana med uvajanjem.
Učinek: Ni tako resno kot napaka 1 - če ni robots.txt, Google privzeto brska po vsem. Vendar to pomeni:
- Google bo brskal po skrbniških straneh, testnih straneh, internih straneh
- Nimate načina, da bi s robots.txt usmerili na zemljevid strani
- Manjka osnovni nadzor
Rešitev: Ustvarite datoteko robots.txt v korenski mapi. Minimalna vsebina:
User-agent: *
Disallow: /admin/
Disallow: /search?
Sitemap: https://ten-mien.com/sitemap.xmlNapaka 5: Uporaba robots.txt za skrivanje strani pred Googleom (napačno razumevanje namena)
Manifestacija: Stran blokirate z Disallow, vendar se ta stran še vedno prikaže v Googlu - čeprav brez izrezka vsebine.
Vzrok: Robots.txt blokira brskanje, ne indeksiranja. Če je bila stran že indeksirana ali če nanjo kaže povratna povezava z druge spletne strani, lahko Google ohrani URL v rezultatih iskanja - samo ne bo prikazal vsebine.
Pravilna rešitev:
| Cilj | Kaj uporabiti |
|---|---|
| Ne želite, da Google brska (pregleda) | Disallow v robots.txt |
| Ne želite, da Google indeksira (prikaže) | Oznaka |
| Ne želite oboje | Uporabite noindex v HTML-u (in ne blokirajte v robots.txt) |
⚠️ To je točka, ki je najpogosteje napačno razumljena: Če blokirate brskanje (robots.txt) in nastavite `noindex` (HTML), Google ne bo videl oznake noindex, ker strani ne bo brskal — in stran se lahko še vedno prikaže v indexu. Rešitev: uporabite `noindex` v HTML-u in odstranite pravilo `Disallow` za to stran v robots.txt.
Predloga robots.txt za poslovno spletno stran
Spodaj je predloga datoteke robots.txt, primerna za večino malih in srednje velikih poslovnih spletnih strani:
# =============================================
# Robots.txt za poslovno spletno stran
# Posodobljeno: 2026-04-20
# =============================================
# Velja za vse bote
User-agent: *
# Blokiraj skrbniško in interno območje
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/
# Blokiraj strani za interno iskanje (da se izognete zapravljanju crawl budgeta)
Disallow: /search?
Disallow: /*?s=
# Blokiraj URL-je s sledilnimi parametri (da se izognete podvojeni vsebini)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=
# Blokiraj strani z nakupovalno košarico / blagajno (če obstajajo)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
# Dovolite CSS, JS, slike (Google jih potrebuje za upodabljanje strani)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/
# Usmerjanje na zemljevid strani
Sitemap: https://ten-mien.com/sitemap.xml📝 Opomba za razvijalce: Datoteka robots.txt mora biti v korenski domeni — `https://example.com/robots.txt`. Ne v `/blog/robots.txt` ali drugem podimeniku. Vsak poddomen zahteva svojo datoteko robots.txt (npr. `blog.example.com/robots.txt` je ločen od `example.com/robots.txt`).
Kako preveriti robots.txt vaše spletne strani
1. način: Neposredno preverjanje v brskalniku
V naslovno vrstico vnesite https://ten-mien-cua-ban.com/robots.txt. Videli boste vsebino datoteke v obliki besedila. Če vidite napako 404 — vaša spletna stran še nima robots.txt.
2. način: Uporaba Google Search Console
- Prijava v Google Search Console
- Pojdi na Settings → Crawling → robots.txt
- Ogled datoteke robots.txt, ki jo Google bere
- Preverite, ali je določen URL blokiran
3. način: Preverjanje v poročilu o indeksiranju
V Search Console → Pages (ali Indexing) → Poiščite "Blocked by robots.txt". Če je pomembna stran na tem seznamu, morate takoj popraviti datoteko robots.txt.
💡 Priporočljivo je preveriti datoteko robots.txt vsaj enkrat na četrtletje ali vsakič, ko pride do večjih sprememb na spletnem mestu (dodajanje strani, spremembe strukture, selitev platforme).
Pregledna tabela: Kaj naj bi robots.txt blokiral in česa ne
| ✅ NAJ BLOKIRATE | ❌ NE SMETE BLOKIRATI |
|---|---|
Skrbniške strani (/admin/, /wp-admin/) | Domača stran, stran s storitvami, stran za stik |
| Staging / testne strani | Blog objave, članki |
Strani za interno iskanje (/search?) | Datoteke CSS in JavaScript |
URL-ji s sledilnimi parametri (?utm_, ?fbclid=) | Slike (Google Slike prinese tudi promet) |
| Strani košarice, plačila, osebnega računa | Sitemap |
| Strani s ponavljajočo se vsebino (filtri, razvrščanje, strani) | Strani s pogostimi vprašanji (FAQ), študije primerov |
Pogosta vprašanja o robots.txt
Kakšna je razlika med robots.txt in sitemapom?
Sitemap pravi: "To je stran, o kateri želim, da jo Google ve." Datoteka robots.txt pravi: "To je stran, ki je ne želim, da jo Google brska." Obe datoteki se dopolnjujeta — sitemap kaže pot, robots.txt postavlja ovire.
Če ni datoteke robots.txt, ali bo Google lahko brskal po spletnem mestu?
Da. Brez datoteke robots.txt Google privzeto brska po vseh straneh — vključno s stranmi, ki jih ne želite. Zato je ta datoteka potrebna.
Uporabljam WordPress, kje je datoteka robots.txt?
WordPress samodejno ustvari virtualno datoteko robots.txt. Če uporabljate SEO vtičnik, kot je Yoast ali Rank Math, lahko datoteko robots.txt urejate neposredno v vtičniku, ne da bi morali dostopati do strežnika.
Ali datoteka robots.txt vpliva na hitrost spletnega mesta?
Ne. Ta datoteka tehta le nekaj KB. Ne vpliva na hitrost nalaganja strani.
Blokiral sem stran z robots.txt, zakaj je stran še vedno na Googlu?
Ker robots.txt blokira samo brskanje, ne pa indeksiranja. Če želite, da stran popolnoma izgine iz Googla, uporabite oznako v HTML-u — in te strani ne blokirajte v robots.txt (da bo Google lahko prebral oznako noindex).
Po popravku datoteke robots.txt, koliko časa traja, da Google posodobi?
Google običajno ponovno preveri datoteko robots.txt v 24-48 urah. V Search Console → Settings → Crawling lahko zahtevate, da Google prej posodobi.
Zaključek
Datoteka robots.txt je majhna datoteka — običajno le nekaj vrstic — vendar neposredno vpliva na to, ali bo Google videl vaše spletno mesto ali ne.
Stvari, ki si jih morate zapomniti:
- Robots.txt je tabla "Območje omejenega dostopa": pove Googlu, katere strani naj ne brska
- Preverite takoj ob zagonu spletnega mesta: napaka blokiranja celotnega spletnega mesta je najpogostejša in najresnejša napaka
- Ne uporabljajte robots.txt za skrivanje strani pred Googlom: blokira brskanje, ne pa indeksiranja
- Vedno dovolite CSS in JS: Google potrebuje upodobitev strani, da razume vsebino
- Kombinirajte s sitemapom in Search Console: za popoln nadzor nad tem, kako Google brska po spletnem mestu in ga indeksira
Preverite platformo vašega spletnega mesta
Datoteka robots.txt je le eden izmed mnogih tehničnih dejavnikov, ki vplivajo na SEO. Če se sprašujete: "Je moja spletna stran pravilno nastavljena?" – odgovor se skriva v platformi, ki jo uporabljate.
GTG CRM vam omogoča spletno stran s pravilno nastavljeno datoteko robots.txt, samodejnimi zemljevidi strani in tehnično strukturo, ki je pripravljena za Google – ne skrbite za urejanje posameznih datotek ali vrstic kode.
Spoznano spremenite v dejanske rezultate – preizkusite GTG CRM zdaj, brezplačno.
Preizkusite zdaj
