Kaj je datoteka robots.txt in kdaj naj podjetja skrbijo zanjo?

---

Kako datoteka robots.txt deluje v SEO postopku?

Če želite razumeti položaj robots.txt, si oglejte postopek, po katerem Google uvrsti spletno mesto v rezultate iskanja:

Crawl → Index → Rank
(Brskanje) (Indeksiranje) (Uvrščanje)

Robots.txt deluje v prvem koraku - Crawl (brskanje).

Preden Googlebot začne brskati po kateri koli strani na vašem spletnem mestu, najprej preveri robots.txt. Če je URL naveden v Disallow, ga Googlebot ignorira - ne brska, ne bere vsebine.

Googlebot želi brskati po https://example.com/admin/settings
→ Preveri robots.txt
→ Vidi Disallow: /admin/
→ Ignorira, ne brska

Googlebot želi brskati po https://example.com/dich-vu/
→ Preveri robots.txt
→ Ni blokiran
→ Brska normalno → Indeksira → Lahko se pojavi v rezultatih iskanja

Robots.txt in zemljevid spletnega mesta: komplementarni par

Ti dve datoteki se ne konfliktnirata - delujeta skupaj. Zemljevid spletnega mesta kaže pot, robots.txt postavlja ovire. S pravilno kombinacijo lahko nadzorujete, kaj Google vidi in kaj ignorira na vašem spletnem mestu.

Za kaj se uporablja robots.txt? 4 pogosti primeri

1. Skrivanje skrbniške in interne strani pred Googleom

Skrbniške strani, backend strani CMS-a, testne strani - vse te se ne bi smele pojaviti v Googlu. Robots.txt vam pomaga reči Googlu: »Nehaj brskati tukaj.«

Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/

2. Izogibanje zapravljanju "crawl budgeta"

Google ne brska neomejeno. Vsako spletno mesto ima »crawl budget« - število strani, ki jih bo Googlebot pregledal med vsakim obiskom. Če ima spletno mesto veliko nepomembnih strani (strani z internim iskanjem, strani s filtri, strani z razdelitvijo na strani), se lahko Googlebot namesto pomembnih strani s storitvami ali blog objav ukvarja z brskanjem po teh.

Disallow: /search?
Disallow: /tag/
Disallow: /page/

💡 Crawl budget je predvsem pomemben za velika spletna mesta (na tisoče strani). Mala podjetniška spletna mesta se običajno ne potrebujejo preveč obremenjevati, vendar je urejena datoteka robots.txt še vedno dobra navada.

3. Blokiranje podvojene vsebine

Če veliko URL-jev vodi do iste vsebine (na primer URL z analitičnim parametrom ?utm_source=facebook ali različica za tisk ?print=true), lahko te podvojene URL-je blokirate:

Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=

4. Kazalnik poti do zemljevida spletnega mesta

Robots.txt je prva stvar, ki jo Googlebot preveri, ko pride na spletno mesto. Navedba poti do zemljevida spletnega mesta tukaj pomaga Googlu hitreje najti zemljevid - tudi če ga še niste poslali prek Search Console.

Sitemap: https://example.com/sitemap.xml

Kdaj naj podjetja skrbijo za robots.txt?

Ni nujno, da boste vedno urejali robots.txt. Vendar pa obstajajo časi, ko je preverjanje te datoteke obvezno:

Ko je spletno mesto novo zagnano (go-live)

To je najpomembnejši čas. Veliko spletnih mest je popolnoma blokiranih pred brskanjem, ker je razvojna ekipa pozabila odstraniti vrstico Disallow: / - vrstico, ki so jo postavili med testiranjem, da Google ne bi indeksiral nedokončane različice.

Preverite ob zagonu:

✅ Ko spletno mesto več tednov ni indeksirano v Googlu

Če imate zemljevid spletnega mesta, ste ga poslali prek Search Console, Google pa ga še vedno ne indeksira - je robots.txt prvi osumljenec za preverjanje.

Ko dodate območja, ki jih želite skriti (strani za člane, interne strani)

Če spletno mesto dopolni strani za upravljanje računov, člane ali interne strani - posodobite robots.txt, da blokirate ta območja.

Ko spremenite platformo spletnega mesta ali redizajnirate

Vsaka platforma (WordPress, Webflow, lastna koda) ustvari drugačno strukturo URL-jev. Pri migraciji lahko stara datoteka robots.txt pomotoma blokira nove strani ali spregleda strani, ki jih je treba blokirati.

Ko Search Console javi napako "Blocked by robots.txt"

Google Search Console ima poročilo Indexing, ki pove, katere strani so blokirane z robots.txt. Če opazite, da je pomembna stran blokirana - je čas za takojšnjo ureditev datoteke.

5 pogostih napak robots.txt in njihovo reševanje

Napaka 1: Blokiranje celotnega spletnega mesta - najhujša napaka

Simptomi: Nobena stran ni indeksirana v Googlu. Search Console prijavlja številne strani »Blocked by robots.txt«.

Vzrok: Datoteka robots.txt vsebuje:

User-agent: 
Disallow: /

Ti dve vrstici pomenita: »Prepovej vsem botom dostop do katere koli strani.« Običajno se zgodi, ko razvijalci med testiranjem postavijo to pravilo in ga pozabijo odstraniti ob zagonu.

Rešitev: Popravite na:

User-agent: *
Disallow:

Sitemap: https://domena.si/sitemap.xml

Disallow: (brez ničesar za dvopikoma) = dovoli brskanje po vsem.

⚠️ To je napaka št. 1, ki jo vidimo na novih podjetniških spletnih mestih. Po popravku lahko Googleju traja nekaj dni do nekaj tednov, da ponovno brska. Ponovno pošljite zemljevid spletnega mesta prek Search Console, da pospešite postopek.

---

Napaka 2: Blokiranje CSS in JavaScript

Simptomi: Spletno mesto se v brskalniku prikaže normalno, vendar ko uporabite orodje »URL Inspection« v Search Console, Google vidi, da je stran pokvarjena ali prazna.

Vzrok: Robots.txt blokira mape, ki vsebujejo CSS in JS:

Disallow: /wp-content/
Disallow: /wp-includes/

Google potrebuje branje CSS in JS, da razume, kako stran izgleda (to se imenuje »rendering«). Če je blokirano, Google strani ne more prikazati → ne razume vsebine → vpliva na uvrstitev.

Rešitev:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/

📝 Opomba za razvijalce: Od leta 2014 Google jasno priporoča: ne blokirajte CSS, JS in slik v robots.txt. Googlebot potrebuje te vire, da pravilno prikaže stran. Uporabite orodje URL Inspection v Search Console, da preverite, kako Google prikazuje vaše strani.

Napaka 3: Pomotoma blokiranje pomembnih strani

Simptomi: Stran s storitvami, stran s izdelkom ali blog objave se ne pojavijo v Googlu - čeprav jih zemljevid spletnega mesta vsebuje.

Vzrok: Pravilo v robots.txt je preveč splošno. Na primer:

Disallow: /dich-vu

Ta vrstica blokira ne le /dich-vu/, ampak tudi /dich-vu-thiet-ke-web/, /dich-vu-seo/ in kateri koli URL, ki se začne z /dich-vu.

Rešitev: Dodajte / na koncu poti, da natančno blokirate mapo:

Disallow: /dich-vu-noi-bo/

Ali uporabite Allow za zaščito potrebne strani:

Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/

📝 Opomba za razvijalce: Vrstni red Allow in Disallow je pomemben. Googlebot uporablja najbolj specifično pravilo (most specific path). Če sta enako dolgi, ima Allow prednost pred Disallow. Vedno testirajte z Orodjem za testiranje robots.txt v Search Console, preden ga namestite.

Napaka 4: Manjka datoteka robots.txt

Simptomi: Vpis domena.si/robots.txt → vrne napako 404.

Vzrok: Spletno mesto je ročno narejeno, razvijalec pa ni ustvaril te datoteke. Ali je bila datoteka pomotoma izbrisana med namestitvijo.

Vpliv: Ni tako resno kot napaka 1 - če ni robots.txt, Google privzeto brska po vsem. Vendar to pomeni:

• Google bo brskal po skrbniških straneh, testnih straneh, internih straneh
• Nimate načina, da bi pokazali pot do zemljevida spletnega mesta prek robots.txt
• Manjka osnovni nadzor

Rešitev: Ustvarite datoteko robots.txt v korenski mapi. Minimalna vsebina:

User-agent: *
Disallow: /admin/
Disallow: /search?

Sitemap: https://domena.si/sitemap.xml

---

Napaka 5: Uporaba robots.txt za skrivanje strani pred Googleom (napačno razumevanje namena)

Simptomi: Blokirate stran z Disallow, vendar se stran še vedno prikaže v Googlu - čeprav brez povzetka vsebine.

Vzrok: Robots.txt blokira brskanje, ne indeksiranja. Če je bila stran že indeksirana prej, ali če nanjo kaže povratna povezava z drugega spletnega mesta, lahko Google obdrži URL v rezultatih iskanja - le vsebine ne prikaže.

Pravilna rešitev:

⚠️ To je točka, ki jo ljudje najpogosteje napačno razumejo: Če blokirate brskanje (robots.txt) in dodate noindex (HTML), Google ne bo videl oznake noindex, ker ne more brskati po strani - in stran je lahko še vedno indeksirana. Rešitev: uporabite noindex v HTML-u in odstranite pravilo Disallow za to stran v robots.txt.

Vzorec robots.txt za podjetniška spletna mesta

Tukaj je vzorec datoteke robots.txt, ki je primeren za večino malih in srednje velikih podjetniških spletnih mest:

# =============================================
# Robots.txt za podjetniška spletna mesta
# Posodobljeno: 2026-04-20
# =============================================

# Velja za vse bote
User-agent: *

# Blokiraj skrbniška in interna območja
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/

# Blokiraj strani z internim iskanjem (izogni se zapravljanju crawl budgeta)
Disallow: /search?
Disallow: /*?s=

# Blokiraj URL-je z analitičnimi parametri (izogni se podvojeni vsebini)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=

# Blokiraj strani košarice / plačila (če obstajajo)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

# Dovoli CSS, JS, slike (Google jih potrebuje za prikaz strani)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/

# Kazalnik poti do zemljevida spletnega mesta
Sitemap: https://domena.si/sitemap.xml

📝 Opomba za razvijalce: Datoteka robots.txt mora biti v korenski domeni - https://example.com/robots.txt. Ne v /blog/robots.txt ali drugem podmapi. Vsaka poddomena potrebuje svojo datoteko robots.txt (na primer: blog.example.com/robots.txt je ločen od example.com/robots.txt).

Kako preveriti robots.txt vašega spletnega mesta

Metoda 1: Neposredno preverjanje v brskalniku

V naslovno vrstico vnesite https://vasa-domena.si/robots.txt. Vsebino datoteke boste videli v obliki besedila. Če vidite napako 404 - spletno mesto še nima robots.txt.

Metoda 2: Uporaba Google Search Console

1. Prijavite se v Google Search Console
2. Pojdite na razdelek Settings → Crawling → robots.txt
3. Oglejte si datoteko robots.txt, ki jo bere Google
4. Preverite, ali je določen URL blokiran

Metoda 3: Preverjanje v poročilu Indexing

V Search Console → Pages (ali Indexing) → Poiščite razdelek "Blocked by robots.txt". Če je na tem seznamu pomembna stran, morate nemudoma popraviti robots.txt.

💡 Priporočljivo je preverjati robots.txt vsaj enkrat na četrtletje ali kadar koli pride do večjih sprememb na spletnem mestu (dodajanje strani, sprememba strukture, migracija platforme).

Tabela povzetkov: Kaj naj robots.txt blokira in česa ne

---

Pogosta vprašanja o robots.txt

Kakšna je razlika med robots.txt in zemljevidom spletnega mesta?

Zemljevid spletnega mesta pravi: »To je stran, za katero želim, da jo Google pozna.« Robots.txt pravi: »To je stran, za katero ne želim, da jo Google brska.« Dve datoteki se dopolnjujeta - zemljevid spletnega mesta kaže pot, robots.txt postavlja ovire.

Če ni datoteke robots.txt, ali lahko Google brska po spletnem mestu?

Da. Brez robots.txt Google privzeto brska po vseh straneh - tudi tistih, ki jih ne želite. Zato je priporočljivo imeti to datoteko.

Uporabljam WordPress, kje je datoteka robots.txt?

WordPress ustvari virtualno datoteko robots.txt. Če uporabljate SEO vtičnik, kot je Yoast ali Rank Math, lahko robots.txt uredite neposredno v vtičniku, ne da bi vam bilo treba dostopati do strežnika.

Ali robots.txt vpliva na hitrost spletnega mesta?

Ne. Ta datoteka je težka le nekaj KB. Ne vpliva na hitrost nalaganja strani.

Blokiral sem stran z robots.txt, zakaj se stran še vedno prikaže v Googlu?

Ker robots.txt blokira le brskanje, ne indeksiranja. Če želite, da stran popolnoma izgine iz Googla, uporabite oznako v HTML-u - in ne blokirajte te strani v robots.txt (da bo Google lahko prebral oznako noindex).

Po popravku robots.txt, koliko časa bo trajalo, da se Google posodobi?

Google običajno ponovno preveri robots.txt v 24-48 urah. V Search Console lahko pojdite na Settings → Crawling in zahtevate, da Google preveri prej.

Zaključek

Robots.txt je majhna datoteka - običajno le nekaj vrstic - vendar neposredno vpliva na to, ali vas Google vidi ali ne.

Stvari, ki jih je treba zapomniti:

1. Robots.txt je znak »Območje z omejenim dostopom«: pove Googlu, katere strani ne sme brskati
2. Preverite takoj ob zagonu spletnega mesta: napaka blokiranja celotnega spletnega mesta je pogosta in resna napaka
3. Ne uporabljajte robots.txt za skrivanje strani pred Googleom: blokira brskanje, ne indeksiranja
4. Vedno dovolite CSS in JS: Google potrebuje prikaz strani, da razume vsebino
5. Kombinirajte z zemljevidi spletnih mest in Search Console: za popoln nadzor nad tem, kaj Google brska in indeksira na vašem spletnem mestu

Preverite svojo platformo spletnega mesta

Robots.txt je le eden od mnogih tehničnih dejavnikov, ki vplivajo na SEO. Če se sprašujete: »Ali je moje spletno mesto pravilno nastavljeno?« - odgovor se skriva v platformi, ki jo uporabljate.

GTG CRM vam pomaga ustvariti spletno mesto s standardnim robots.txt, samodejnim zemljevidom spletnega mesta in tehnično strukturo, ki je pripravljena za Google - vam ni treba skrbeti za urejanje vsake datoteke, vsake vrstice kode.