Kaj je datoteka robots.txt in kdaj bi podjetja morala biti pozorna nanjo?

Imate sitemap, ga poslali Googlu, spletna stran se že indeksa. Toda nekega dne ugotovite, da se na Googlu pojavljajo tudi skrbniška stran (admin), notranja stran za plačila ali staging stran vaše spletne strani. Stranke vtipkajo ime podjetja – in vidijo nedokončano testno stran.

Ali obratno: objavite nov blog zapis, počakate dva tedna, a ga na Googlu še vedno ni. Vprašate tehnično ekipo, odgovorijo: »Datoteka robots.txt blokira Google pri obisku celotne spletne strani.«

Obe situaciji sta povezani z majhno datoteko, na katero malo skrbnikov spletnih strani bodite pozorni: robots.txt.

Ta članek bo razložil, kaj je robots.txt, kako deluje, kdaj ga morate urediti in katere pogoste napake se podjetja morajo izogniti – vse v preprostem jeziku, s praktičnimi primeri.

Kaj je robots.txt? Razlaga za skrbnike spletnih strani

Če je sitemap kot zemljevid stavbe – pove Googlovemu iskalniku, katere sobe obstajajo, potem je robots.txt kot tabla »Območje omejenega dostopa« – pove Googlovemu iskalniku, v katere sobe ni dovoljeno vstopiti.

Tehnično gledano: robots.txt je majhna besedilna datoteka, ki se nahaja v korenski mapi spletne strani (npr. https://example.com/robots.txt). Ta datoteka vsebuje pravila (rules), ki spletnim pajkom iskalnikov – kot je Googlebot – povejo:

• Katere strani je dovoljeno obiskati (crawl)
• Katere strani ni dovoljeno obiskati (crawl)
• Kje se nahaja sitemap

Datoteko robots.txt katerekoli spletne strani si lahko ogledate tako, da v brskalnik vtipkate: ime-domene.com/robots.txt.

💡 Pomembno: robots.txt je le vljudna prošnja, ne absolutna prepoved. Ugledni pajki, kot je Googlebot, se ga bodo držali, medtem ko ga zlonamerni pajki (spam, scraperji) lahko ignorirajo. Če potrebujete resnično varnost, uporabite gesla ali požarni zid – ne zanašajte se na robots.txt.

Kako izgleda datoteka robots.txt?

Te datoteke vam ni treba pisati od začetka. Če pa želite razumeti, kaj vidiš, ko jo pogledaš, je tukaj preprosta datoteka robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /thanh-toan/
Disallow: /staging/
Allow: /

Sitemap: https://example.com/sitemap.xml

Razlaga vsake vrstice:

Vrstica	Pomen
User-agent: *	Velja za vse spletne pajke (Google, Bing itd.)
Disallow: /admin/	Prepreči spletnim pajkom dostop do mape /admin/
Disallow: /thanh-toan/	Prepreči spletnim pajkom dostop do strani za plačilo
Disallow: /staging/	Prepreči spletnim pajkom dostop do staging verzije
Allow: /	Dovoli spletnim pajkom obisk preostalega dela strani
Sitemap: https://...	Pove spletnemu pajku, kje se nahaja sitemap

Tukaj je še bolj zapleten primer – primeren za podjetniško spletno stran z blogom, stranjo storitev in skrbniškim območjem:

# Dovoljuje vsem spletnim pajkom obisk javne vsebine
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_

# Dovoljuje Googlebotu obisk CSS in JS (potrebno za prikaz strani)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/

Sitemap: https://example.com/sitemap.xml

📝 Opomba za razvijalce: Znak `` v poti je nadomestni znak (wildcard) — `/?utm_` pomeni blokiranje vseh URL-jev, ki vsebujejo parameter `?utm_`. Znak `$` na koncu poti se uporablja za natančno ujemanje konca URL-ja. Na primer: `Disallow: /*.pdf$` bo blokiralo vse PDF datoteke.

Kako robots.txt deluje v SEO procesu?

Da bi razumeli mesto robots.txt, si poglejmo proces, kako Google spletne strani uvršča v rezultate iskanja:

Crawl → Index → Rank
(Obisk)   (Shranjevanje) (Uvrščanje)

Robots.txt deluje v prvem koraku – Crawl (Obisk).

Preden Googlebot začne obiskovati katerekoli strani na vaši spletni strani, bo najprej preveril robots.txt. Če je URL naveden v Disallow, ga bo Googlebot preskočil – ne bo ga obiskal, ne bo bral vsebine.

Googlebot želi obiskati https://example.com/admin/settings
→ Preveri robots.txt
→ Vidi Disallow: /admin/
→ Preskoči, ne obiskuje

Googlebot želi obiskati https://example.com/dich-vu/
→ Preveri robots.txt
→ Ni blokirano
→ Obišče normalno → Indeksira → Lahko se pojavi v rezultatih iskanja

Robots.txt in sitemap: komplementaren par

Datoteka	Vloga
Sitemap	»To je seznam strani, ki jih želim da jih Google pozna«
Robots.txt	»To so strani, ki jih ne želim da jih Google obiskuje«

Ti dve datoteki se ne prekrivata – delujeta skupaj. Sitemap pokaže pot, robots.txt postavi ovire. Če ju pravilno kombinirate, lahko nadzorujete, kaj Google vidi in kaj spregleda na vaši spletni strani.

Za kaj se uporablja robots.txt? 4 pogoste situacije

1. Skrivanje skrbniških in internih strani pred Googlom

Skrbniške strani, backend CMS strani, staging strani, testne strani – vse to se ne bi smelo pojavljati na Googlu. Robots.txt vam pomaga Googlovim iskalnikom povedati: »Ne hodite sem.«

Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/

2. Izogibanje zapravljanju »crawl budgeta«

Google ne obiskuje neomejeno. Vsaka spletna stran ima »crawl budget« – število strani, ki jih bo Googlebot obiskal pri vsakem obisku. Če ima spletna stran veliko nepomembnih strani (strani za notranje iskanje, strani s filtri, strani s paginacijo), lahko Googlebot porabi čas za obiskovanje teh strani namesto pomembnih strani storitev ali blog objav.

Disallow: /search?
Disallow: /tag/
Disallow: /page/

💡 Crawl budget je predvsem pomemben za velike spletne strani (tisoče strani). Malejša podjetniška spletna mesta se običajno ne rabijo preveč obremenjevati, vendar je urejanje datoteke robots.txt dobra navada.

3. Blokiranje podvojenih vsebin

Če ima spletna stran več URL-jev, ki vodijo do iste vsebine (npr. URL-ji s sledilnimi parametri ?utm_source=facebook ali tiskalna verzija ?print=true), lahko te podvojene URL-je blokirate:

Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=

4. Navajanje poti do sitemapa

Robots.txt je prvo mesto, ki ga Googlebot preveri, ko pride na spletno stran. Navedba poti do sitemapa tu pomaga Googlu hitreje najti sitemap – tudi če ga še niste poslali preko Search Console.

Sitemap: https://example.com/sitemap.xml

Kdaj se morajo podjetja pozabavati z robots.txt?

Ne boste vedno potrebovali urejati robots.txt. Vendar pa obstajajo časi, ko je preverjanje te datoteke obvezno:

Ko je spletna stran novo zagnana (go-live)

To je najpomembnejši čas. Veliko spletnih strani je blokiranih pri obisku, ker so razvijalci pozabili odstraniti vrstico Disallow: / – vrstico, ki so jo postavili med stagingom, da Google ne bi indeksiral nedokončane verzije.

Preverite ob zagonu:

Kategorija	Kako preveriti
Datoteka robots.txt obstaja	Odprite https://ime-domene.com/robots.txt v brskalniku
Ne blokira celotne spletne strani	Prepričajte se, da NI vrstice Disallow: /
Naveden je sitemap	Prepričajte se, da JE vrstica Sitemap: https://ime-domene.com/sitemap.xml
Pomembne strani niso blokirane	Preverite, da strani storitev, blog, kontakt niso v Disallow

✅ Ko spletna stran po več tednih ni indeksirana s strani Googla

Če imate sitemap, ga poslali preko Search Console, a Google ga še vedno ne indeksira – robots.txt je prvi osumljenec, ki ga je treba preveriti.

Ko dodate območje, ki ga želite skriti (stran za člane, interno stran)

Če spletna stran doda stran za upravljanje računa, območje za člane ali interno stran – posodobite robots.txt, da blokirate ta območja.

Ko spremenite platformo spletne strani ali jo prenovite

Vsaka platforma (WordPress, Webflow, custom code) ustvari drugačno strukturo URL-jev. Pri selitvi lahko stara robots.txt datoteka pomotoma blokira novo stran ali spregleda stran, ki jo je treba blokirati.

Ko Search Console javi napako »Blocked by robots.txt«

Google Search Console ima poročilo o indeksiranju, ki pove, katere strani so blokirane z robots.txt. Če vidite, da je pomembna stran blokirana – je čas, da takoj uredite datoteko.

5 pogostih napak robots.txt in kako jih odpraviti

Napaka 1: Blokiranje celotne spletne strani – najhujša napaka

Simptomi: Nobena stran ni indeksirana s strani Googla. Search Console prikazuje veliko strani »Blocked by robots.txt«.

Vzrok: Datoteka robots.txt vsebuje:

User-agent: 
Disallow: /

Ti dve vrstici pomenita: »Prepovedati vsem spletnim pajkom dostop do katerekoli strani.« Običajno se zgodi, ko razvijalci postavijo to pravilo med delom na stagingu in pozabijo odstraniti, ko spletna stran postane aktivna.

Kako odpraviti: Uredite na:

User-agent: *
Disallow:

Sitemap: https://ime-domene.com/sitemap.xml

Disallow: (brez ničesar za dvopičjem) = dovoli obisk vseh strani.

⚠️ To je napaka #1, ki jo vidimo pri novih podjetniških spletnih straneh. Po popravku lahko Googlu traja nekaj dni do tednov, da ponovno obišče spletno stran. Ponovno pošljite sitemap preko Search Console, da pospešite proces.

Napaka 2: Blokiranje CSS in JavaScript

Simptomi: Spletna stran se na brskalniku prikazuje normalno, vendar ko uporabite orodje »URL Inspection« v Search Console, Google vidi, da je stran vizualno pokvarjena ali prazna vsebina.

Vzrok: Datoteka robots.txt blokira mape, ki vsebujejo CSS in JS:

Disallow: /wp-content/
Disallow: /wp-includes/

Google potrebuje branje CSS in JS, da razume, kako stran izgleda (imenuje se »rendering«). Če je blokirano, Google ne more prikazati strani → ne razume vsebine → vpliva na uvrščanje.

Kako odpraviti:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/

📝 Opomba za razvijalce: Od leta 2014 Google jasno priporoča: ne blokirajte CSS, JS in slik v datoteki robots.txt. Googlebot potrebuje te vire, da pravilno prikaže stran. Uporabite orodje URL Inspection v Search Console, da preverite, kako Google prikaže vašo stran.

Napaka 3: Pomotoma blokiranje pomembnih strani

Simptomi: Stran storitev, stran izdelkov ali blog objave se ne prikaže na Googlu – čeprav jih sitemap vsebuje.

Vzrok: Pravilo v datoteki robots.txt je preveč široko. Na primer:

Disallow: /dich-vu

Ta vrstica blokira ne le /dich-vu/, ampak tudi /dich-vu-thiet-ke-web/, /dich-vu-seo/ in katerikoli URL, ki se začne z /dich-vu.

Kako odpraviti: Dodajte znak / na konec poti, da natančno blokirate mapo:

Disallow: /dich-vu-noi-bo/

Ali uporabite Allow, da zaščitite potrebno stran:

Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/

📝 Opomba za razvijalce: Vrstni red `Allow` in `Disallow` je pomemben. Googlebot uporabi najbolj specifično pravilo (most specific path). Če imata enako dolžino, ima `Allow` prednost pred `Disallow`. Vedno testirajte z [Orodjem za testiranje robots.txt](https://support.google.com/webmasters/answer/6062598) v Search Console pred implementacijo.

Napaka 4: Manjkajoča datoteka robots.txt

Simptomi: Vtipkate ime-domene.com/robots.txt → vrne napako 404.

Vzrok: Ročno narejena spletna stran, kjer razvijalec ni ustvaril te datoteke. Ali pa je bila datoteka pomotoma izbrisana pri implementaciji.

Vpliv: Ni tako resno kot napaka 1 – če ni robots.txt, Google obiskoval po privzetku vse. Toda to pomeni:

• Google bo obiskoval skrbniške strani, testne strani, interne strani
• Nimate načina, da bi preko robots.txt pokazali pot do sitemapa
• Manjka osnovni nadzor

Kako odpraviti: Ustvarite datoteko robots.txt v korenski mapi. Minimalna vsebina:

User-agent: *
Disallow: /admin/
Disallow: /search?

Sitemap: https://ime-domene.com/sitemap.xml

Napaka 5: Uporaba robots.txt za skrivanje strani pred Googlom (napačno razumevanje namena)

Simptomi: Blokirate stran z Disallow, a se stran še vedno pojavlja na Googlu – čeprav brez izpiska vsebine.

Vzrok: Robots.txt blokira obisk, ne indeksiranja. Če je bila stran že indeksirana prej ali ima povratno povezavo iz druge spletne strani, lahko Google obdrži URL v rezultatih iskanja – le vsebine ne prikaže.

Pravilno odpravljanje:

Cilj	Kaj uporabiti
Ne želite, da Google obiskuje (pajka)	Disallow v robots.txt
Ne želite, da Google indeksira (prikazuje)	Oznako v HTML-u
Ne želite oboje	Uporabite noindex v HTML-u (in ne blokirajte v robots.txt)

⚠️ To je najbolj pogosto napačno razumljena točka: Če hkrati blokirate obisk (robots.txt) in nastavite `noindex` (HTML), Google ne bo videl oznake noindex, ker strani ne more obiskati — in stran se lahko še vedno indeksira. Rešitev: uporabite `noindex` v HTML-u in odstranite pravilo `Disallow` za to stran v robots.txt.

Primer robots.txt za podjetniško spletno stran

Tukaj je vzorec datoteke robots.txt, primeren za večino malih in srednje velikih podjetniških spletnih strani:

# =============================================
# Robots.txt za podjetniško spletno stran
# Posodobljeno: 2026-04-20
# =============================================

# Velja za vse spletne pajke
User-agent: *

# Blokiraj skrbniška in interna območja
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/

# Blokiraj strani za notranje iskanje (izogni se zapravljanju crawl budgeta)
Disallow: /search?
Disallow: /*?s=

# Blokiraj URL-je s sledilnimi parametri (izogni se podvojenim vsebinam)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=

# Blokiraj strani košarice / plačila (če obstajajo)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

# Dovoljuje CSS, JS, slike (Google jih potrebuje za prikaz strani)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/

# Navaja pot do sitemapa
Sitemap: https://ime-domene.com/sitemap.xml

📝 Opomba za razvijalce: Datoteka robots.txt mora biti v korenski domeni — `https://example.com/robots.txt`. Ne v `/blog/robots.txt` ali kateri drugi podmapi. Vsak poddomen potrebuje svojo datoteko robots.txt (npr. `blog.example.com/robots.txt` je ločen od `example.com/robots.txt`).

Kako preveriti robots.txt svoje spletne strani

Metoda 1: Neposredno preverjanje v brskalniku

V naslovno vrstico vtipkajte https://vase-ime-domene.com/robots.txt. Videli boste vsebino datoteke v obliki besedila. Če vidite napako 404 – spletna stran še nima datoteke robots.txt.

Metoda 2: Uporaba Google Search Console

1. Prijavite se v Google Search Console
2. Pojdite v razdelek Settings → Crawling → robots.txt
3. Ogledate si lahko datoteko robots.txt, ki jo Google trenutno bere
4. Preverite, ali je specifični URL blokiran

Metoda 3: Preverjanje v poročilih o indeksiranju

V Search Console → Pages (ali Indexing) → Poiščite razdelek "Blocked by robots.txt". Če je pomembna stran na tem seznamu, morate takoj popraviti robots.txt.

💡 Priporočljivo je preveriti robots.txt vsaj enkrat na četrtletje ali vsakič, ko pride do večjih sprememb na spletni strani (dodajanje strani, sprememba strukture, selitev platforme).

Tabela povzetkov: Kaj naj bi robots.txt blokiral in česa ne

✅ NAJ BI BLOKIRALI	❌ NE SMETE BLOKIRATI
Skrbniške strani (/admin/, /wp-admin/)	Domača stran, strani storitev, kontaktne strani
Staging / testne strani	Blog objave, članki
Strani za notranje iskanje (/search?)	CSS in JavaScript datoteke
URL-ji s sledilnimi parametri (?utm_, ?fbclid=)	Slike (Google Images tudi prinaša promet)
Strani košarice, plačila, osebni računi	Sitemap
Strani s podvojenimi vsebinami (filtri, sortiranje, paginacija)	FAQ strani, študije primerov

Pogosta vprašanja o robots.txt

Kako se robots.txt razlikuje od sitemapa?

Sitemap pove: »To je stran, za katero želim, da jo Google pozna.« Robots.txt pove: »To je stran, ki je ne želim, da jo Google obiskuje.« Ti dve datoteki se dopolnjujeta – sitemap pokaže pot, robots.txt postavi ovire.

Če ni robots.txt, ali Google lahko obiskuje spletno stran?

Da. Brez robots.txt, Google obiskoval po privzetku vse strani — tudi tiste, ki jih ne želite. Zato je priporočljivo imeti to datoteko.

Uporabljam WordPress, kje je datoteka robots.txt?

WordPress samodejno ustvari virtualno robots.txt. Če uporabljate SEO vtičnik, kot je Yoast ali Rank Math, lahko robots.txt uredite neposredno v vtičniku, ne da bi morali dostopati do strežnika.

Ali robots.txt vpliva na hitrost spletne strani?

Ne. Ta datoteka je le nekaj KB. Ne vpliva na hitrost nalaganja strani.

Blokiral sem stran z robots.txt, zakaj se še vedno prikaže na Googlu?

Ker robots.txt blokira le obisk, ne pa indeksiranja. Če želite, da stran popolnoma izgine iz Googla, uporabite oznako v HTML-u – in ne blokirajte te strani v robots.txt (da bo Google lahko prebral oznako noindex).

Po popravku robots.txt, koliko časa potrebuje Google, da se posodobi?

Google običajno ponovno preveri robots.txt v 24-48 urah. V Search Console → Settings → Crawling lahko zahtevate, da Google ponovno preveri prej.

Zaključek

Robots.txt je majhna datoteka – običajno le nekaj vrstic – vendar neposredno vpliva na to, ali Google vidi vašo spletno stran ali ne.

Kaj si morate zapomniti:

1. Robots.txt je tabla »Območje omejenega dostopa«: pove Googlovim iskalnikom, katere strani ne sme obiskati
2. Preverite takoj ob zagonu spletne strani: napaka blokiranja celotne spletne strani je pogosta in resna
3. Ne uporabljajte robots.txt za skrivanje strani pred Googlom: blokira obisk, ne indeksiranja
4. Vedno dovolite CSS in JS: Google potrebuje prikaz strani, da razume vsebino
5. Kombinirajte s sitemapom in Search Console: za popoln nadzor nad tem, kaj Google obiskuje in indeksira na vaši spletni strani

Preverite svojo platformo spletne strani

Robots.txt je le eden od mnogih tehničnih dejavnikov, ki vplivajo na SEO. Če se sprašujete: »Je moja spletna stran pravilno nastavljena?« – odgovor se skriva v platformi, ki jo uporabljate.

GTG CRM vam pomaga ustvariti spletno stran z ustrezno robots.txt, samodejnim sitemapom in tehnično strukturo, pripravljeno za Google – vam ni treba skrbeti za urejanje vsake datoteke, vsake vrstice kode.