Kaj je Robots.txt in kdaj naj podjetja skrbijo za to datoteko?

Kaj je robots.txt in kdaj naj bi podjetja skrbela za to datoteko?

Imate sitemap, poslali ste jo Googlu, spletno mesto se je začelo indekscirati. Toda nekega dne odkrijete, da se na Googlu pojavljajo tudi strani za upravljanje (admin), interne strani za plačilo ali staging strani vašega spletnega mesta. Ko stranke vtipkajo ime podjetja - vidijo tudi nedokončano testno stran.

Ali obratno: objavite novo blog objavo, počakate dva tedna in je še vedno ni na Googlu. Vprašate tehnično ekipo, in oni rečejo: "Datoteka robots.txt blokira Google, da bi preiskal celotno spletno mesto."

Obe situaciji sta povezani z majhno datoteko, na katero malo upravljavcev spletnih strani pomisli: robots.txt.

Ta članek vam bo v preprostem jeziku, s praktičnimi primeri, pojasnil, kaj je robots.txt, kako deluje, kdaj ga morate urediti in katere pogoste napake se podjetja izogibajo.

Kaj je robots.txt? Razlaga za upravljavce spletnih mest

Če je sitemap zemljevid stavbe - ki Googlu pove, katere sobe obstajajo, potem je robots.txt oznaka "Območje z omejenim dostopom" - ki Googlu pove, v katere sobe ne sme.

Tehnično gledano: robots.txt je majhna besedilna datoteka, ki se nahaja v korenski mapi spletnega mesta (na primer: https://example.com/robots.txt). Ta datoteka vsebuje pravila, ki botom iskalnikov - kot je Googlebot - povedo:

• Katere strani jih je dovoljeno brskati (pasti)
• Katere strani jih ni dovoljeno brskati (pasti)
• Kje se nahaja sitemap

Robots.txt katerega koli spletnega mesta si lahko ogledate tako, da v brskalnik vtipkate: ime-domene.com/robots.txt.

💡 Pomembno: robots.txt je samo vljudna prošnja, ne absolutna prepoved. Ugledni boti, kot je Googlebot, se ga bodo držali, vendar ga slabi boti (spam, scraperji) lahko ignorirajo. Če potrebujete resnično varnost, uporabite gesla ali požarni zid - ne zanašajte se na robots.txt.

Kako izgleda datoteka robots.txt?

Te datoteke vam ni treba pisati od začetka. Toda da bi razumeli, kaj gledate, je tukaj preprosta datoteka robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /thanh-toan/
Disallow: /staging/
Allow: /

Sitemap: https://example.com/sitemap.xml

Razlaga vsake vrstice:

Vrstica	Pomen
User-agent: *	Velja za vse botove (Google, Bing itd.)
Disallow: /admin/	Botom ni dovoljeno v mapo /admin/
Disallow: /thanh-toan/	Botom ni dovoljeno vstopiti na strani za plačilo
Disallow: /staging/	Botom ni dovoljeno vstopiti v staging različico
Allow: /	Botom je dovoljeno brskati po vsem preostalem delu
Sitemap: https://...	Botu pove, kje se nahaja sitemap

Spodaj je bolj zapleten primer - primeren za poslovno spletno mesto z blogom, stranmi storitev in območjem za upravljanje:

# Dovolite vsem botom, da pregledujejo javne vsebine
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_

# Dovolite Googlebotu, da pregleduje CSS in JS (potrebno za prikaz strani)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/

Sitemap: https://example.com/sitemap.xml

📝 Opomba za razvijalce: Znak v poti je nadomestni znak — /?utm_ pomeni blokiranje vseh URL-jev, ki vsebujejo parameter ?utm_. Znak $ na koncu poti se uporablja za natančno ujemanje konca URL-ja. Na primer: Disallow: /*.pdf$ bo blokiral vse PDF datoteke.

---

Kako robots.txt deluje v SEO procesu?

Da bi razumeli položaj robots.txt, poglejmo ponovno postopek, s katerim Google uvršča spletna mesta v rezultate iskanja:

Crawl → Index → Rank
(Povezovanje) (Indeksiranje) (Uvrščanje)

Robots.txt deluje v prvem koraku - Crawl.

Preden Googlebot začne povezovati katero koli stran na vašem spletnem mestu, najprej preveri datoteko robots.txt. Če je URL naveden v Disallow, ga bo Googlebot preskočil - ne bo ga povezal, ne bo prebral vsebine.

Googlebot želi povezati https://example.com/admin/settings
→ Preveri robots.txt
→ Vidi Disallow: /admin/
→ Preskoči, ne povezuje

Googlebot želi povezati https://example.com/dich-vu/
→ Preveri robots.txt
→ Ni blokirano
→ Povezuje normalno → Indeksira → Lahko se pojavi v rezultatih iskanja

Robots.txt in sitemap: komplementarni dvojec

Datoteka	Vloga
Sitemap	"To je seznam strani, za katere želim, da jih Google pozna"
Robots.txt	"To so strani, ki jih ne želim, da jih Google povezuje"

Ti dve datoteki nista v nasprotju - delujeta skupaj. Sitemap kaže pot, robots.txt postavlja ovire. Z ustreznim kombiniranjem lahko nadzirate, kaj vidi in kaj preskoči Google na vašem spletnem mestu.

Za kaj se uporablja robots.txt? 4 pogosti primeri

1. Skrivanje strani za upravljanje in notranjih strani pred Googleom

Skrbniške strani, strani backend CMS, strani za postavitev (staging), testne strani - vse to se ne bi smelo pojaviti v Googlu. Robots.txt vam pomaga povedati Googlu: "Ne hodite sem."

Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/

2. Izogibanje zapravljanju "crawl budgeta"

Google ne povezuje neomejeno. Vsako spletno mesto ima določen "proračun za povezovanje" (crawl budget) - število strani, ki jih bo Googlebot preveril ob vsakem obisku. Če ima spletno mesto veliko nepomembnih strani (strani z notranjim iskanjem, strani s filtri, strani s paginacijo), se lahko Googlebot namesto pomembnih servisnih strani ali blog objav zaposli s povezovanjem teh strani.

Disallow: /search?
Disallow: /tag/
Disallow: /page/

💡 Crawl budget je predvsem pomemben za velika spletna mesta (na tisoče strani). Manjša podjetniška spletna mesta običajno ne potrebujejo prevelike skrbi, vendar je urejena datoteka robots.txt še vedno dobra navada.

3. Blokiranje podvojenih vsebin

Če na spletnem mestu obstaja več URL-jev, ki vodijo do iste vsebine (na primer URL-ji s sledilnimi parametri ?utm_source=facebook ali tiskalno različico ?print=true), lahko te podvojene URL-je blokirate:

Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=

4. Navajanje poti do sitemapa

Robots.txt je prvo mesto, ki ga bo Googlebot preveril ob prihodu na spletno mesto. Vstavljanje poti do sitemapa tam pomaga Googlu hitreje najti sitemap - tudi če ga še niste poslali prek Search Console.

Sitemap: https://example.com/sitemap.xml

Kdaj naj se podjetja ukvarjajo z robots.txt?

Ni nujno, da vedno urejate robots.txt. Vendar pa obstajajo trenutki, ko je preverjanje te datoteke obvezno:

Ko je spletno mesto novo zagnano (go-live)

To je najpomembnejši trenutek. Veliko spletnih mest je popolnoma blokiranih za povezovanje, ker je razvojna ekipa pozabila odstraniti vrstico Disallow: / - vrstico, ki so jo postavili med fazo postavitve (staging), da Google ne bi indeksiral nedokončane različice.

Preverite ob zagonu:

Kategorija	Kako preveriti
Datoteka robots.txt obstaja	Odprite https://ten-mien.com/robots.txt v brskalniku
Celotna spletna stran ni blokirana	Prepričajte se, da ni vrstice Disallow: /
Naveden je sitemap	Prepričajte se, da je navedena vrstica Sitemap: https://ten-mien.com/sitemap.xml
Pomembne strani niso blokirane	Preverite, ali strani s storitvami, blogi, stiki niso vključene v Disallow

✅ Ko vaša spletna stran po več tednih ni indeksirana s strani Googla

Če imate sitemap, ga oddate preko Search Console, pa Google še vedno ne indeksira - je robots.txt prvi osumljenec za preverjanje.

Ko dodate območja, ki jih želite skriti (strani za člane, interne strani)

Če vaša spletna stran dodaja strani za upravljanje računov, območja za člane ali interne strani - posodobite robots.txt, da blokirate ta območja.

Ko spremenite platformo spletne strani ali jo redizajnirate

Vsaka platforma (WordPress, Webflow, lastna koda) ustvari drugačno strukturo URL-jev. Med migracijo lahko stara datoteka robots.txt pomotoma blokira nove strani ali spregleda strani, ki jih je treba blokirati.

Ko Search Console javi napako "Blocked by robots.txt"

Google Search Console ima poročilo Indexing, ki pove, katere strani so blokirane z robots.txt. Če vidite, da so pomembne strani blokirane - je čas, da takoj popravite datoteko.

5 pogostih napak robots.txt in njihovo odpravljanje

Napaka 1: Blokiranje celotne spletne strani - najhujša napaka

Simptomi: Nobena stran ni indeksirana s strani Googla. Search Console javi več strani "Blocked by robots.txt".

Vzrok: Datoteka robots.txt vsebuje:

User-agent: 
Disallow: /

Ti dve vrstici pomenita: "Prepovej vsem botom dostop do katerekoli strani." To se pogosto zgodi, ko razvijalci postavijo to pravilo med delom na razvojnem okolju in ga pozabijo odstraniti ob objavi.

Kako popraviti: Spremenite v:

User-agent: *
Disallow:

Sitemap: https://ten-mien.com/sitemap.xml

Disallow: (brez ničesar za dvopičjem) = dovoli crawlanje vsega.

⚠️ To je napaka številka 1, ki jo vidimo na novih poslovnih spletnih straneh. Po popravku lahko traja nekaj dni do nekaj tednov, da Google ponovno crawls. Ponovno oddajte sitemap preko Search Console, da pospešite postopek.

---

Napaka 2: Blokiranje CSS in JavaScript

Simptomi: Spletna stran se v brskalniku prikaže normalno, vendar Google s pomočjo orodja "URL Inspection" v Search Console vidi, da je stran razbita ali brez vsebine.

Vzrok: Robots.txt blokira mape, ki vsebujejo CSS in JS:

Disallow: /wp-content/
Disallow: /wp-includes/

Google potrebuje branje CSS-ja in JS-ja, da razume, kako stran izgleda (imenovano "rendering"). Če je blokirano, Google ne more upodobiti strani → ne razume vsebine → vpliva na uvrstitev.

Kako popraviti:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/

📝 Opomba za razvijalce: Od leta 2014 Google jasno priporoča: ne blokirajte CSS-ja, JS-ja in slik v robots.txt. Googlebot potrebuje te vire, da pravilno upodobi stran. Uporabite orodje za pregled URL-jev v Search Console, da preverite, kako Google upodobi vašo stran.

Napaka 3: Pomotoma blokiranje pomembnih strani

Simptomi: Stran s storitvami, stran s proizvodi ali blog objave se ne pojavijo v Googlu - čeprav so navedene v sitemapu.

Vzrok: Pravilo v robots.txt je preveč široko. Na primer:

Disallow: /dich-vu

Ta vrstica blokira ne samo /dich-vu/, ampak tudi /dich-vu-thiet-ke-web/, /dich-vu-seo/ in katerikoli URL, ki se začne z /dich-vu.

Rešitev: Dodajte / na konec poti, da pravilno blokirate mapo:

Disallow: /dich-vu-noi-bo/

Ali uporabite Allow za zaščito potrebnih strani:

Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/

📝 Opomba za razvijalce: Vrstni red Allow in Disallow je pomemben. Googlebot uporablja najbolj specifično pravilo (most specific path). Če sta enako dolga, ima Allow prednost pred Disallow. Vedno testirajte z Orodjem za testiranje robots.txt v Search Console pred uvajanjem.

Napaka 4: Manjka datoteka robots.txt

Simptomi: Vpišite vasa-domena.com/robots.txt → vrne napako 404.

Vzrok: Spletno mesto je ustvarjeno ročno in razvijalec ni ustvaril te datoteke. Ali pa je bila datoteka pomotoma izbrisana med uvajanjem.

Posledice: Ni tako resno kot napaka 1 – če ni datoteke robots.txt, Google privzeto brska po vsem. Vendar to pomeni:

• Google bo brskal po skrbniških straneh, testnih straneh, internih straneh
• Ne boste imeli načina, da bi prek robots.txt pokazali pot do zemljevida strani
• Manjka osnovni nadzor

Rešitev: Ustvarite datoteko robots.txt v korenski mapi. Minimalna vsebina:

User-agent: *
Disallow: /admin/
Disallow: /search?

Sitemap: https://vasa-domena.com/sitemap.xml

---

Napaka 5: Uporaba robots.txt za skrivanje strani pred Google-om (napačno razumevanje namena)

Simptomi: Stran blokirate z Disallow, vendar se stran še vedno prikaže v Googlu – čeprav brez izpiska vsebine.

Vzrok: Robots.txt blokira brskanje, ne indeksiranja. Če je bila stran že indeksirana, ali če nanjo kaže povratna povezava z drugega spletnega mesta, lahko Google obdrži URL v rezultatih iskanja – le vsebine ne prikaže.

Pravilna rešitev:

Cilj	Uporabite
Ne želite, da Google brska (pregleduje)	Disallow v robots.txt
Ne želite, da Google indeksira (prikaže)	Oznako v HTML-u
Ne želite oboje	Uporabite noindex v HTML-u (in ne blokirajte v robots.txt)

⚠️ To je najbolj pogosto napačno razumljeno: Če blokirate brskanje (robots.txt) in nastavite noindex (HTML), Google ne bo videl oznake noindex, ker ne bo brskal po strani – in stran je lahko še vedno indeksirana. Rešitev: uporabite noindex v HTML-u in odstranite pravilo Disallow za to stran v robots.txt.

Predloga robots.txt za poslovna spletna mesta

Spodaj je predloga datoteke robots.txt, primerna za večino malih in srednjih poslovnih spletnih mest:

# =============================================
# Robots.txt za poslovna spletna mesta
# Posodobljeno: 2026-04-20
# =============================================

# Velja za vse bot-e
User-agent: *

# Blokiraj skrbniška in interna področja
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/

# Blokiraj strani z internim iskanjem (da se izogne porabi proračuna za brskanje)
Disallow: /search?
Disallow: /*?s=

# Blokiraj URL-je s sledilnimi parametri (da se izogne podvojeni vsebini)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=

# Blokiraj strani za košarico / blagajno (če obstajajo)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

# Dovolite CSS, JS, slike (ki jih Google potrebuje za upodabljanje strani)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/

# Kazalnik na zemljevid strani
Sitemap: https://vasa-domena.com/sitemap.xml

📝 Opomba za razvijalce: Datoteka robots.txt mora biti nameščena v korenski imenik domene — https://example.com/robots.txt. Ne /blog/robots.txt ali v drug podimenik. Vsak poddomen potrebuje svojo datoteko robots.txt (na primer blog.example.com/robots.txt je ločena od example.com/robots.txt).

Kako preveriti robots.txt vaše spletne strani

1. način: Neposredno preverjanje v brskalniku

V naslovno vrstico vnesite https://vasedomena.com/robots.txt. Videli boste vsebino datoteke v besedilni obliki. Če vidite napako 404 — spletna stran še nima datoteke robots.txt.

2. način: Uporaba Google Search Console

1. Prijavite se v Google Search Console
2. Pojdite v meni Settings → Crawling → robots.txt
3. Ogledajte si datoteko robots.txt, ki jo Google trenutno bere
4. Preverite, ali je določen URL blokiran

3. način: Preverjanje v poročilu o indeksiranju

V Search Console pojdite v Pages (ali Indexing) → poiščite razdelek "Blocked by robots.txt". Če je kakšna pomembna stran na tem seznamu, morate takoj popraviti datoteko robots.txt.

💡 Datoteko robots.txt je priporočljivo preverjati vsaj enkrat na četrtletje ali kadarkoli pride do večjih sprememb na spletni strani (dodajanje strani, sprememba strukture, migracija platforme).

Tabela povzetkov: Kaj naj bi robots.txt blokiral in česa ne

✅ NAJ se blokira	❌ NE sme se blokirati
Administracijski strani (/admin/, /wp-admin/)	Naslovna stran, strani s storitvami, kontaktne strani
Staging / testne strani	Blog objave, članki
Strani z notranjim iskanjem (/search?)	Datoteke CSS in JavaScript
URL-ji s parametri za sledenje (?utm_, ?fbclid=)	Slike (Google Slike tudi prinašajo promet)
Strani s košarico, plačilom, osebnim računom	Sitemap
Strani s podvojenimi vsebinami (filtri, razvrščanje, paginacija)	Strani s pogostimi vprašanji (FAQ), študije primerov

---

Pogosto zastavljena vprašanja o robots.txt

Kakšna je razlika med robots.txt in sitemapom?

Sitemap pove: "To je stran, o kateri želim, da jo Google ve." Robots.txt pove: "To je stran, ki je ne želim, da jo Google obišče." Obe datoteki se dopolnjujeta — sitemap kaže pot, robots.txt postavlja ovire.

Če ni datoteke robots.txt, ali lahko Google obišče spletno stran?

Da. Če ni datoteke robots.txt, Google privzeto obišče vse strani — tudi tiste, ki jih ne želite. Zato je priporočljivo imeti to datoteko.

Uporabljam WordPress, kje se nahaja robots.txt?

WordPress samodejno ustvari virtualno datoteko robots.txt. Če uporabljate SEO vtičnik, kot je Yoast ali Rank Math, lahko datoteko robots.txt uredite neposredno v vtičniku, ne da bi morali dostopati do strežnika.

Ali robots.txt vpliva na hitrost spletne strani?

Ne. Ta datoteka je težka le nekaj KB. Ne vpliva na hitrost nalaganja strani.

Blokiral sem stran z robots.txt, zakaj se stran še vedno prikaže v Googlu?

Ker robots.txt blokira samo obisk (crawl), ne pa indeksiranja (index). Če želite, da stran popolnoma izgine iz Googla, uporabite oznako v HTML-u — in te strani ne blokirajte v robots.txt (da bo Google lahko prebral oznako noindex).

Po popravku datoteke robots.txt, koliko časa traja, da Google posodobi?

Google običajno ponovno preveri robots.txt v 24-48 urah. V Search Console lahko pojdete v Settings → Crawling in zahtevate, da Google ponovno preveri prej.

Zaključek

Robots.txt je majhna datoteka — pogosto le nekaj vrstic — vendar neposredno vpliva na to, ali bo Google videl vašo spletno stran ali ne.

Stvari, ki si jih morate zapomniti:

1. Robots.txt je "Območje prepovedi": pove Googlu, katere strani ne smete brskati
2. Preverite takoj ob zagonu spletne strani: napake, ki blokirajo celotno spletno stran, so najpogostejše in najresnejše
3. Ne uporabljajte robots.txt za skrivanje strani pred Googleom: blokira brskanje, ne indeksiranja
4. Vedno dovolite CSS in JS: Google potrebuje renderiranje strani za razumevanje vsebine
5. Združite s zemljevidom spletnega mesta in Search Console: za popoln nadzor nad brskanjem in indeksiranjem spletnega mesta s strani Googla

Preverite osnovo svoje spletne strani

Robots.txt je le eden od mnogih tehničnih dejavnikov, ki vplivajo na SEO. Če se sprašujete: "Ali je moja spletna stran pravilno nastavljena?" - odgovor je v osnovi, ki jo uporabljate.

GTG CRM vam pomaga imeti spletno stran s standardnim robots.txt, samodejnimi zemljevidi spletnih mest in tehnično strukturo, pripravljeno za Google - vam ni treba skrbeti za urejanje posamezne datoteke, posamezne vrstice kode.