Co je soubor robots.txt a kdy by se o něj měl podnik zajímat?
Máte sitemapu, poslali jste ji Googlu, web je začínán indexovat. Ale jednoho dne zjistíte, že se na Googlu objevila administrační stránka (admin), interní platební stránka nebo stagingová stránka vašeho webu. Zákazníci zadají název vaší společnosti - a zobrazí se jim nedokončená testovací stránka.
Nebo naopak: zveřejníte nový příspěvek na blogu, čekáte dva týdny a stále se neobjevuje na Googlu. Zeptáte se technického oddělení, řeknou vám: "Soubor robots.txt blokuje Google před procházením celého webu."
Obě situace souvisejí s malým souborem, který většina webových správců přehlíží: robots.txt.
Tento článek vysvětlí, co je robots.txt, jak funguje, kdy ho potřebujete upravit a jaké běžné chyby by se podnik měl vyvarovat – vše jednoduchým jazykem s praktickými příklady.
Co je robots.txt? Vysvětlení pro webové správce
Pokud je sitemapou plán budovy – která Googlu říká, jaké jsou místnosti – pak robots.txt je cedule "Vstup zakázán" – která Googlu říká, do kterých místností nesmí vstupovat.
Technicky řečeno: robots.txt je malý textový soubor umístěný v kořenovém adresáři webu (například: https://example.com/robots.txt). Tento soubor obsahuje pravidla, která robotům vyhledávačů – jako je Googlebot – říkají:
- Které stránky mohou procházet (crawl)
- Které stránky nesmí procházet
- Kde se nachází sitemap a
Robots.txt jakéhokoli webu si můžete prohlédnout zadáním: nazev-domeny.com/robots.txt do prohlížeče.
💡 Důležité: robots.txt je pouze zdvořilá žádost, nikoli absolutní zákaz. Renomovaní roboti jako Googlebot jej budou respektovat, ale zlí roboti (spam, scrapers) ho mohou ignorovat. Pokud potřebujete skutečné zabezpečení, použijte heslo nebo firewall – nespoléhejte se na robots.txt.
Jak soubor robots.txt vypadá?
Tento soubor si nemusíte psát od nuly. Ale abyste pochopili, co vidíte, zde je jednoduchý soubor robots.txt:
User-agent: *
Disallow: /admin/
Disallow: /thanh-toan/
Disallow: /staging/
Allow: /
Sitemap: https://example.com/sitemap.xml
Vysvětlení jednotlivých řádků:
| Řádek | Význam |
|---|---|
User-agent: * | Platí pro všechny boty (Google, Bing atd.) |
Disallow: /admin/ | Nedovoluje botům vstup do adresáře /admin/ |
Disallow: /thanh-toan/ | Nedovoluje botům vstup na platební stránku |
Disallow: /staging/ | Nedovoluje botům vstup do stagingové verze |
Allow: / | Povoluje botům procházet zbytek webu |
Sitemap: https://... | Říká botům, kde se nachází sitemap |
Zde je složitější příklad – vhodný pro firemní web s blogem, stránkami služeb a administrační oblastí:
# Povoluje všem botům procházet veřejný obsah
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_
# Povoluje Googlebotu procházet CSS a JS (nezbytné pro vykreslení stránky)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/
Sitemap: https://example.com/sitemap.xml
📝 Poznámka pro vývojáře: Znak
*v cestě je zástupný znak –/?utm_znamená blokování jakéhokoli URL obsahujícího parametr?utm_. Znak$na konci cesty se používá pro přesné shodu na konci URL. Například:Disallow: /*.pdf$zablokuje všechny soubory PDF.
---
Jak robots.txt funguje v SEO procesu?
Abyste pochopili pozici robots.txt, podívejme se na proces, jak Google dostává webové stránky do výsledků vyhledávání:
Crawl → Index → Rank
(Procházení) (Indexování) (Řazení)
Robots.txt funguje v první fázi – Crawl.
Než Googlebot začne procházet jakoukoli stránku na vašem webu, nejprve zkontroluje robots.txt. Pokud je URL uvedena v části Disallow, Googlebot tuto stránku přeskočí – nebude ji procházet ani číst její obsah.
Googlebot chce procházet https://example.com/admin/settings
→ Zkontroluje robots.txt
→ Najde Disallow: /admin/
→ Přeskočí, nebude procházet
Googlebot chce procházet https://example.com/dich-vu/
→ Zkontroluje robots.txt
→ Není blokováno
→ Prochází normálně → Indexuje → Může se objevit ve výsledcích vyhledávání
Robots.txt a sitemap: doplňující se dvojice
| Soubor | Role |
|---|---|
| Sitemap | „Toto je seznam stránek, o kterých chci, aby je Google věděl.“ |
| Robots.txt | „Toto jsou stránky, které nechci, aby je Google procházel.“ |
Tyto dva soubory si neodporují – spolupracují. Sitemap ukazuje cestu, robots.txt staví bariéry. Správnou kombinací můžete ovládat, co Google vidí a co na vašem webu ignoruje.
K čemu se robots.txt používá? 4 běžné případy
1. Skrytí administračních a interních stránek před Googlem
Administrační stránky, backend CMS, stagingové stránky, testovací stránky – to vše by se nemělo objevovat ve vyhledávání Google. Robots.txt vám pomůže říci Googlu: „Sem nechoď.“
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/
2. Zamezení plýtvání „crawl budgetem“
Google neprochází stránky neomezeně. Každý web má svůj „rozpočet na procházení“ (crawl budget) – počet stránek, které Googlebot při každé návštěvě prohledá. Pokud má web mnoho nevýznamných stránek (stránky s interním vyhledáváním, stránky s filtry, stránky s paginací), Googlebot se může zaneprázdnit jejich procházením namísto důležitých servisních stránek nebo blogových příspěvků.
Disallow: /search?
Disallow: /tag/
Disallow: /page/
💡 Crawl budget je primárně důležitý pro velké weby (tisíce stránek). Malé firemní weby se obvykle nemusí příliš trápit, ale udržování čistého robots.txt je stále dobrý zvyk.
3. Blokování duplicitního obsahu
Pokud na webu existuje více URL vedoucích ke stejnému obsahu (například URL s trackovacími parametry ?utm_source=facebook nebo tištěnou verzí ?print=true), můžete tyto duplicitní URL blokovat:
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=
4. Uvedení cesty k sitemapě
Robots.txt je první místo, které Googlebot při příchodu na web kontroluje. Umístění cesty k sitemapě zde pomůže Googlu najít sitemapu rychleji – i když jste ji ještě neodeslali přes Search Console.
Sitemap: https://example.com/sitemap.xml
Kdy by se firmy měly zajímat o robots.txt?
Nemusíte vždy upravovat robots.txt. Ale existují okamžiky, kdy je kontrola tohoto souboru povinná:
Když je web nově nasazen (go-live)
Toto je nejdůležitější okamžik. Mnoho webů je zcela zablokováno pro procházení, protože vývojáři zapomněli odstranit řádek Disallow: / – řádek, který umístili během stagingu, aby Google neindexoval nedokončenou verzi.
Kontrola při go-live:
| Kategorie | Jak zkontrolovat |
|---|---|
| Soubor robots.txt existuje | Otevřete https://vas-web.com/robots.txt v prohlížeči |
| Nezablokuje celý web | Ujistěte se, že NEEXISTUJE řádek Disallow: / |
| Deklarace sitemapy existuje | Ujistěte se, že EXISTUJE řádek Sitemap: https://vas-web.com/sitemap.xml |
| Důležité stránky nejsou blokovány | Zkontrolujte, zda stránky služeb, blogu a kontaktů nejsou v sekci Disallow |
✅ Když váš web není po týdnech zaindexován Googlem
Pokud máte sitemapu, odeslali jste ji přes Search Console, ale Google ji přesto neindexuje – robots.txt je prvním podezřelým, kterého je třeba zkontrolovat.
Při přidávání oblastí, které mají být skryty (členské stránky, interní stránky)
Pokud váš web doplňuje stránky pro správu účtů, členské oblasti nebo interní stránky – aktualizujte robots.txt, abyste tyto oblasti zablokovali.
Při změně platformy webu nebo redesignu
Každá platforma (WordPress, Webflow, vlastní kód) vytváří jinou strukturu URL. Při migraci může starý robots.txt omylem zablokovat nové stránky nebo vynechat stránky, které měly být zablokovány.
Když Search Console hlásí chybu „Blocked by robots.txt“
Google Search Console má zprávu Indexing, která ukazuje, které stránky jsou blokovány souborem robots.txt. Pokud zjistíte, že důležité stránky jsou blokovány – je čas soubor upravit.
5 běžných chyb v robots.txt a jejich řešení
Chyba 1: Blokování celého webu – nejzávažnější chyba
Projev: Žádná stránka není indexována Googlem. Search Console hlásí hromadně stránky „Blocked by robots.txt“.
Příčina: Soubor robots.txt obsahuje:
User-agent:
Disallow: /
Tyto dva řádky znamenají: „Zakázat všem botům přístup na jakoukoli stránku.“ Často se stává, když vývojář nastaví toto pravidlo během práce na staging prostředí a zapomene ho odstranit při spuštění.
Řešení: Upravte na:
User-agent: *
Disallow:
Sitemap: https://vas-web.com/sitemap.xml
Disallow: (bez čehokoli za dvojtečkou) = povolit procházení všeho.
⚠️ Toto je chyba č. 1, kterou vidíme na nových firemních webech. Po opravě může Googlu trvat několik dní až týdnů, než znovu proleze web. Znovu odešlete sitemapu přes Search Console, abyste proces urychlili.
---
Chyba 2: Blokování CSS a JavaScriptu
Projev: Web se na prohlížeči zobrazuje normálně, ale při použití nástroje „URL Inspection“ v Search Console Google vidí stránku s rozbitým layoutem nebo prázdným obsahem.
Příčina: Robots.txt blokuje složky obsahující CSS a JS:
Disallow: /wp-content/
Disallow: /wp-includes/
Google potřebuje číst CSS a JS, aby pochopil, jak stránka vypadá (tzv. „rendering“). Pokud je blokováno, Google nemůže stránku vykreslit → nerozumí obsahu → ovlivňuje to hodnocení.
Řešení:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/
📝 Poznámka pro vývojáře: Od roku 2014 Google jasně doporučuje: neblokujte CSS, JS a obrázky v robots.txt. Googlebot potřebuje tyto zdroje k tomu, aby stránku správně vykreslil. Použijte nástroj URL Inspection v Search Console ke kontrole, jak Google vaši stránku vykresluje.
Chyba 3: Omylem zablokovaná důležitá stránka
Projev: Stránky služeb, produktů nebo blogové příspěvky se nezobrazují ve výsledcích Google – i když jsou v sitemapě.
Příčina: Pravidlo v robots.txt je příliš obecné. Například:
Disallow: /dich-vu
Tento řádek blokuje nejen /dich-vu/, ale také /dich-vu-thiet-ke-web/, /dich-vu-seo/ a jakékoli URL začínající na /dich-vu.
Řešení: Přidejte lomítko / na konec cesty, abyste přesně zablokovali adresář:
Disallow: /dich-vu-noi-bo/
Nebo použijte Allow k ochraně potřebných stránek:
Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/
📝 Poznámka pro vývojáře: Pořadí
AllowaDisallowmá vliv. Googlebot používá nejpřesnější pravidlo (most specific path). Pokud mají stejnou délku,Allowmá přednost předDisallow. Vždy testujte pomocí Robots Testing Tool v Search Console před nasazením.
Chyba 4: Chybí soubor robots.txt
Projev: Zadejte ten-mien.com/robots.txt → vrátí chybu 404.
Příčina: Web je vytvářen ručně a vývojář tento soubor nevytvořil. Nebo byl soubor omylem smazán při nasazení.
Dopad: Není tak vážný jako chyba 1 - pokud robots.txt neexistuje, Google ve výchozím stavu prochází vše. Ale to znamená:
- Google bude procházet i administrační stránky, testovací stránky, interní stránky
- Nemáte způsob, jak prostřednictvím robots.txt nasměrovat na sitemap
- Chybí základní kontrola
Řešení: Vytvořte soubor robots.txt v kořenovém adresáři. Minimální obsah:
User-agent: *
Disallow: /admin/
Disallow: /search?
Sitemap: https://ten-mien.com/sitemap.xml
---
Chyba 5: Použití robots.txt k skrytí stránek před Googlem (špatné pochopení účelu)
Projev: Blokujete stránku pomocí Disallow, ale stránka se stále objevuje ve výsledcích Googlu – i když bez úryvku obsahu.
Příčina: Robots.txt blokuje procházení (crawl), nikoli indexování (index). Pokud byla stránka již dříve indexována, nebo na ni odkazuje zpětný odkaz z jiného webu, Google si může URL ve výsledcích vyhledávání ponechat – pouze nebude zobrazovat obsah.
Správné řešení:
| Cíl | Použijte |
|---|---|
| Nechcete, aby Google procházel (skenoval) | Disallow v robots.txt |
| Nechcete, aby Google indexoval (zobrazoval) | Tag v HTML |
| Nechcete ani jedno | Použijte noindex v HTML (a neblokujte v robots.txt) |
⚠️ Toto je nejčastěji špatně pochopené místo: Pokud zablokujete procházení (robots.txt) a zároveň nastavíte
noindex(HTML), Google tag noindex neuvidí, protože stránku neprochází — a stránka může být stále indexována. Řešení: použijtenoindexv HTML a odstraňte pravidloDisallowpro danou stránku z robots.txt.
Vzorový robots.txt pro firemní web
Zde je vzorový soubor robots.txt vhodný pro většinu malých a středních firemních webů:
# =============================================
# Robots.txt pro firemní web
# Aktualizováno: 2026-04-20
# =============================================
# Platí pro všechny boty
User-agent: *
# Blokovat administrační a interní oblasti
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/
# Blokovat interní vyhledávací stránky (abychom neplýtvali crawl budgetem)
Disallow: /search?
Disallow: /*?s=
# Blokovat URL s parametry sledování (abychom se vyhnuli duplicitnímu obsahu)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=
# Blokovat stránky košíku / platby (pokud existují)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
# Povolit CSS, JS, obrázky (Google je potřebuje pro vykreslení stránky)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/
# Směřovat na sitemap
Sitemap: https://ten-mien.com/sitemap.xml
📝 Poznámka pro vývojáře: Soubor robots.txt musí být umístěn v kořenovém adresáři domény —
https://example.com/robots.txt. Ne v/blog/robots.txtnebo jiném podadresáři. Každá subdoména potřebuje vlastní robots.txt (např.blog.example.com/robots.txtje oddělen odexample.com/robots.txt).
Jak zkontrolovat robots.txt vašeho webu
Metoda 1: Přímá kontrola v prohlížeči
Do adresního řádku zadejte https://vase-domena.com/robots.txt. Zobrazí se vám obsah souboru v textové podobě. Pokud vidíte chybu 404 — web ještě nemá soubor robots.txt.
Metoda 2: Použití Google Search Console
- Přihlaste se do Google Search Console
- Přejděte do sekce Nastavení → Procházení → robots.txt
- Zobrazte soubor robots.txt, který Google čte
- Zkontrolujte, zda jsou konkrétní URL blokovány
Metoda 3: Kontrola v přehledech indexování
V Search Console → Stránky (nebo Indexování) → Najděte sekci "Blokováno souborem robots.txt". Pokud je v tomto seznamu důležitá stránka, měli byste okamžitě upravit soubor robots.txt.
💡 Je vhodné kontrolovat soubor robots.txt minimálně jednou za čtvrtletí nebo pokaždé, když dojde k významné změně na webu (přidání stránek, změna struktury, migrace platformy).
Shrnutí: Co by měl robots.txt blokovat a co ne
| ✅ MĚLI BYSTE blokovat | ❌ NEMĚLI BYSTE blokovat |
|---|---|
Administrační stránky (/admin/, /wp-admin/) | Domovská stránka, stránky služeb, kontaktní stránky |
| Staging / testovací stránky | Příspěvky na blogu, články |
Interní vyhledávací stránky (/search?) | Soubory CSS a JavaScript |
URL s parametry sledování (?utm_, ?fbclid=) | Obrázky (Google Obrázky také přinášejí návštěvnost) |
| Nákupní košík, platební stránky, osobní účty | Sitemap (mapa webu) |
| Stránky s duplicitním obsahem (filtry, řazení, stránkování) | Stránky FAQ, případové studie |
---
Často kladené dotazy k robots.txt
Jaký je rozdíl mezi robots.txt a sitemap?
Sitemap říká: „Toto jsou stránky, o kterých chci, aby je Google věděl.“ Robots.txt říká: „Toto jsou stránky, které nechci, aby je Google procházel.“ Oba soubory se vzájemně doplňují — sitemap ukazuje cestu dovnitř, robots.txt staví bariéry.
Pokud nemám robots.txt, může Google procházet můj web?
Ano. Bez souboru robots.txt Google standardně prochází všechny stránky — včetně těch, které nechcete. Proto je důležité tento soubor mít.
Používám WordPress, kde najdu robots.txt?
WordPress si automaticky vytváří virtuální soubor robots.txt. Pokud používáte SEO plugin jako Yoast nebo Rank Math, můžete soubor robots.txt upravovat přímo v pluginu, aniž byste museli přistupovat na server.
Ovlivňuje robots.txt rychlost webu?
Ne. Tento soubor váží jen pár KB. Neovlivňuje rychlost načítání stránky.
Zablokoval jsem stránku pomocí robots.txt, proč se stránka stále objevuje ve výsledcích Google?
Protože robots.txt blokuje pouze procházení, nikoli indexování. Pokud chcete, aby stránka zcela zmizela z Google, použijte tag v HTML — a tuto stránku v robots.txt neblokujte (aby Google mohl načíst tag noindex).
Jak dlouho trvá, než Google po úpravě robots.txt provede aktualizaci?
Google obvykle znovu kontroluje robots.txt do 24-48 hodin. Můžete jít do Search Console → Nastavení → Procházení a požádat Google o dřívější kontrolu.
Závěr
Robots.txt je malý soubor — často jen pár řádků — ale přímo ovlivňuje, zda Google váš web vůbec uvidí.
Co si pamatovat:
- Robots.txt je cedule "Zákaz vstupu": říká Googlu, které stránky nemá procházet
- Zkontrolujte hned při spuštění webu: chyba blokující celý web je běžná a nejzávažnější
- Nepoužívejte robots.txt k úkrytu stránek před Googlem: blokuje procházení, ne indexaci
- Vždy povolte CSS a JS: Google potřebuje vykreslit stránku, aby pochopil obsah
- Kombinujte s mapou stránek a Search Console: pro plnou kontrolu nad tím, co Google prochází a indexuje na vašem webu
Zkontrolujte základy svého webu
Robots.txt je jen jedním z mnoha technických faktorů ovlivňujících SEO. Pokud si kladete otázku: "Je můj web správně nastaven?" - odpověď spočívá v platformě, kterou používáte.
GTG CRM vám pomůže vytvořit web s robots.txt v pořádku, automatickou mapou stránek a technickou strukturou připravenou pro Google – nemusíte se starat o úpravu jednotlivých souborů a řádků kódu.
Proměňte to, co jste se právě dozvěděli, v reálné výsledky — vyzkoušejte to hned s GTG CRM, zdarma.
Vyzkoušet hned
