Имате sitemap, изпратили сте го на Google, уебсайтът ви започва да се индексира. Но един ден откривате, че администраторският панел, вътрешната страница за плащане или стейджинг страницата на уебсайта ви се появяват в Google. Клиентите въвеждат името на компанията – и виждат незавършена тестова страница.
Или обратното: публикувате нова блог публикация, чакате две седмици и тя все още не се появява в Google. Питате техническия екип и те казват: „Файлът robots.txt блокира Google от обхождане на целия уебсайт.“
И двете ситуации са свързани с малък файл, който малко уеб администратори забелязват: robots.txt.
Тази статия ще обясни какво е robots.txt, как работи, кога трябва да го редактирате и често срещаните грешки, които бизнесите трябва да избягват – всичко това с прост език и реални примери.
Какво е robots.txt? Обяснение за уеб администратори
Ако sitemap е картата на сграда – която показва на Google кои стаи има, то robots.txt е знакът „Зона с ограничен достъп“ – който казва на Google кои стаи не трябва да бъдат посещавани.
Технически казано: robots.txt е малък текстов файл, разположен в основната директория на уебсайта (например: https://example.com/robots.txt). Този файл съдържа правила, които казват на ботовете на търсачките – като Googlebot –:
- Кои страници могат да бъдат обхождани (сканирани)
- Кои страници не могат да бъдат обхождани
- Къде се намира sitemap
Можете да видите robots.txt на всеки уебсайт, като въведете: domain-name.com/robots.txt в браузъра си.
💡 Важно: robots.txt е само учтива молба, а не абсолютна забрана. Реномирани ботове като Googlebot ще я спазват, но лоши ботове (спам, scrape) могат да я игнорират. Ако се нуждаете от истинска сигурност, използвайте парола или защитна стена – не разчитайте само на robots.txt.
Как изглежда файлът robots.txt?
Не е нужно да пишете този файл от нулата. Но за да разберете, когато го видите, ето един прост файл robots.txt:
User-agent: *
Disallow: /admin/
Disallow: /thanh-toan/
Disallow: /staging/
Allow: /
Sitemap: https://example.com/sitemap.xmlОбяснение на всеки ред:
| Ред | Значение |
|---|---|
User-agent: * | Прилага се за всички ботове (Google, Bing и т.н.) |
Disallow: /admin/ | Не позволява на ботовете да влизат в директорията /admin/ |
Disallow: /thanh-toan/ | Не позволява на ботовете да влизат в страницата за плащане |
Disallow: /staging/ | Не позволява на ботовете да влизат в стейджинг версията |
Allow: / | Позволява на ботовете да обхождат останалата част |
Sitemap: https://... | Указва на ботовете къде се намира sitemap |
Ето един по-сложен пример – подходящ за бизнес уебсайт с блог, страници за услуги и административна зона:
# Позволява на всички ботове да обхождат публично съдържание
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_
# Позволява на Googlebot да обхожда CSS и JS (необходими за рендиране на страницата)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/
Sitemap: https://example.com/sitemap.xml📝 Забележка за разработчици: Символът `*` в пътя е уайлдкард – `/`*?utm_` означава блокиране на всеки URL, съдържащ параметър `?utm_`. Символът `$` в края на пътя се използва за точно съвпадение в края на URL. Например: `Disallow: /*.pdf$` ще блокира всички PDF файлове.
Как работи файлът robots.txt в SEO процеса?
За да разберете мястото на robots.txt, нека разгледаме процеса, чрез който Google добавя уебсайтове към резултатите от търсенето:
Crawl → Index → Rank
(Обхождане) (Индексиране) (Класиране)robots.txt работи на първата стъпка – Crawl.
Преди Googlebot да започне да сканира която и да е страница на вашия уебсайт, той първо проверява robots.txt. Ако даден URL е посочен в Disallow, Googlebot ще игнорира тази страница – няма да я сканира, няма да чете съдържанието.
Googlebot иска да обходи https://example.com/admin/settings
→ Проверява robots.txt
→ Вижда Disallow: /admin/
→ Игнорира, не обхожда
Googlebot иска да обходи https://example.com/dich-vu/
→ Проверява robots.txt
→ Не е блокиран
→ Обхожда нормално → Индексира → Може да се появи в резултатите от търсенеRobots.txt и sitemap: допълващ се дует
| Файл | Роля |
|---|---|
| Sitemap | „Това е списъкът със страници, които искам Google да знае“ |
| Robots.txt | „Това са страниците, които не искам Google да обхожда“ |
Тези два файла не си противоречат – те работят заедно. Sitemap показва пътя, robots.txt поставя бариери. Комбинирани правилно, вие контролирате какво вижда Google и какво игнорира на вашия уебсайт.
За какво се използва robots.txt? 4 често срещани случая
1. Скриване на администраторски и вътрешни страници от Google
Администраторски панели, бекенд CMS страници, стейджинг страници, тестови страници – всички те не трябва да се показват в Google. Robots.txt ви помага да кажете на Google: „Не влизай тук.“
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/2. Избягване на разхищаване на „crawl budget“
Google не обхожда безкрайно. Всеки уебсайт има „crawl budget“ – броят страници, които Googlebot ще сканира при всяко посещение. Ако уебсайтът има много неважни страници (страници за вътрешно търсене, страници с филтри, страници с пагинация), Googlebot може да отделя време за тях, вместо за важни страници за услуги или блог публикации.
Disallow: /search?
Disallow: /tag/
Disallow: /page/💡 Crawl budget е основно важен за големи уебсайтове (хиляди страници). Малките бизнес уебсайтове обикновено не се нуждаят от прекалено много притеснения, но поддържането на чист robots.txt все още е добра практика.
3. Блокиране на дублиращо се съдържание
Ако уебсайтът има множество URL адреси, водещи към едно и също съдържание (например URL с проследяващи параметри ?utm_source=facebook, или версия за печат ?print=true), можете да блокирате тези дублиращи се URL адреси:
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=4. Указване на пътя към sitemap
robots.txt е първото място, което Googlebot проверява, когато стигне до уебсайта. Поставянето на пътя към sitemap тук помага на Google да намери sitemap по-бързо – дори ако все още не сте го изпратили чрез Search Console.
Sitemap: https://example.com/sitemap.xmlКога трябва да се интересуват бизнесите от robots.txt?
Не винаги се нуждаете от редактиране на robots.txt. Но има моменти, когато проверката на този файл е задължителна:
Когато уебсайтът е пуснат на живо (go-live)
Това е най-важният момент. Много уебсайтове биват напълно блокирани от обхождане, защото разработчиците забравят да премахнат реда Disallow: / – ред, който са поставили по време на стейджинга, за да не индексира Google незавършената версия.
Проверка при пускане на живо:
| Категория | Метод на проверка |
|---|---|
| Файлът robots.txt съществува | Отворете https://domain-name.com/robots.txt в браузъра си |
| Не блокира целия уебсайт | Уверете се, че НЯМА ред Disallow: / |
| Има декларация за sitemap | Уверете се, че ИМА ред Sitemap: https://domain-name.com/sitemap.xml |
| Важни страници не са блокирани | Проверете дали страници за услуги, блог, контакти не са в Disallow |
✅ Когато уебсайтът не се индексира от Google след седмици
Ако имате sitemap, изпратили сте го през Search Console, но Google все още не го индексира – robots.txt е първият заподозрян, който трябва да проверите.
Когато добавяте зони, които трябва да бъдат скрити (страници за членове, вътрешни страници)
Ако уебсайтът добави страници за управление на акаунти, зони за членове или вътрешни страници – актуализирайте robots.txt, за да блокирате тези зони.
Когато сменяте платформата на уебсайта или извършвате редизайн
Всяка платформа (WordPress, Webflow, custom code) създава различна структура на URL адресите. При миграция, старият robots.txt може погрешно да блокира нови страници или да пропусне страници, които трябва да бъдат блокирани.
Когато Search Console съобщава за грешка „Blocked by robots.txt“
Google Search Console има отчет Indexing, който показва кои страници са блокирани от robots.txt. Ако видите, че важна страница е блокирана – това е моментът, в който трябва незабавно да редактирате файла.
5 често срещани грешки в robots.txt и как да ги поправите
Грешка 1: Блокиране на целия уебсайт – най-сериозната грешка
Проявление: Нито една страница не се индексира от Google. Search Console съобщава за многобройни страници „Blocked by robots.txt“.
Причина: Файлът robots.txt съдържа:
User-agent:
Disallow: /Тези два реда означават: „Забранете на всички ботове да влизат на която и да е страница.“ Това обикновено се случва, когато разработчик постави това правило по време на стейджинг и забрави да го премахне при пускане на живо.
Начин на поправка: Променете на:
User-agent: *
Disallow:
Sitemap: https://domain-name.com/sitemap.xmlDisallow: (без нищо след двоеточието) = позволява обхождане на всичко.
⚠️ Това е грешка №1, която виждаме при нови бизнес уебсайтове. След поправка, може да отнеме няколко дни до седмици, докато Google обходи отново. Изпратете отново sitemap през Search Console, за да ускорите процеса.
Грешка 2: Блокиране на CSS и JavaScript
Проявление: Уебсайтът изглежда нормално в браузъра, но когато използвате инструмента „URL Inspection“ в Search Console, Google вижда, че страницата има счупено оформление или празно съдържание.
Причина: robots.txt блокира директориите, съдържащи CSS и JS:
Disallow: /wp-content/
Disallow: /wp-includes/Google трябва да чете CSS и JS, за да разбере как изглежда страницата (това се нарича „рендиране“). Ако бъдат блокирани, Google не може да рендира страницата → не разбира съдържанието → влияе върху класирането.
Начин на поправка:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/📝 Забележка за разработчици: От 2014 г. Google ясно препоръчва: не блокирайте CSS, JS и изображения в robots.txt. Googlebot се нуждае от тези ресурси, за да рендира правилно страницата. Използвайте инструмента URL Inspection в Search Console, за да проверите как Google рендира вашата страница.
Грешка 3: Грешно блокиране на важни страници
Проявление: Страници за услуги, продукти или публикации в блога не се появяват в Google – въпреки че sitemap ги включва.
Причина: Правилата в robots.txt са твърде широки. Например:
Disallow: /dich-vuТози ред блокира не само /dich-vu/, но и /dich-vu-thiet-ke-web/, /dich-vu-seo/, и всеки URL, започващ с /dich-vu.
Начин на поправка: Добавете наклонена черта / в края на пътя, за да блокирате точно директорията:
Disallow: /dich-vu-noi-bo/
Или използвайте Allow, за да защитите необходимите страници:
Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/📝 Забележка за разработчици: Редът на `Allow` и `Disallow` има значение. Googlebot използва най-специфичния път (most specific path). При еднаква дължина, `Allow` има предимство пред `Disallow`. Винаги тествайте с [Robots Testing Tool](https://support.google.com/webmasters/answer/6062598) в Search Console, преди да внедрите.
Грешка 4: Липса на файл robots.txt
Проявление: Въвеждане на domain-name.com/robots.txt → връща грешка 404.
Причина: Уебсайтът е направен ръчно и разработчикът не е създал този файл. Или файлът е бил изтрит погрешно при внедряване.
Влияние: Не е толкова сериозно, колкото грешка 1 – ако няма robots.txt, Google по подразбиране обхожда всичко. Но това означава:
- Google ще обхожда администраторски страници, тестови страници, вътрешни страници
- Нямате начин да укажете пътя към sitemap чрез robots.txt
- Липсва основен контрол
Начин на поправка: Създайте файл robots.txt в основната директория. Минимално съдържание:
User-agent: *
Disallow: /admin/
Disallow: /search?
Sitemap: https://domain-name.com/sitemap.xmlГрешка 5: Използване на robots.txt за скриване на страници от Google (грешно разбиране на целта)
Проявление: Блокирате страница с Disallow, но страницата все още се появява в Google – въпреки че няма откъс от съдържанието.
Причина: Robots.txt блокира обхождането, но не и индексирането. Ако страницата вече е била индексирана преди това, или има обратна връзка от друг уебсайт към нея, Google може да запази URL адреса в резултатите от търсене – просто няма да показва съдържанието.
Правилен начин на поправка:
| Цел | Какво да използвате |
|---|---|
| Не искате Google да обхожда (сканира) | Disallow в robots.txt |
| Не искате Google да индексира (показва) | Таг |
| Не искате и двете | Използвайте noindex в HTML (и не блокирайте в robots.txt) |
⚠️ Това е най-често грешно разбираната точка: Ако едновременно блокирате обхождането (robots.txt) и поставите `noindex` (HTML), Google няма да види тага noindex, защото няма да обходи страницата – и страницата може все пак да бъде индексирана. Решение: използвайте `noindex` в HTML и премахнете правилото `Disallow` за тази страница в robots.txt.
Примерен robots.txt за бизнес уебсайт
Ето примерен файл robots.txt, подходящ за повечето малки и средни бизнес уебсайтове:
# =============================================
# Robots.txt за бизнес уебсайт
# Актуализиран: 2026-04-20
# =============================================
# Прилага се за всички ботове
User-agent: *
# Блокиране на администраторски и вътрешни зони
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/
# Блокиране на вътрешни търсещи страници (за избягване на разхищаване на crawl budget)
Disallow: /search?
Disallow: /*?s=
# Блокиране на URL адреси с параметри за проследяване (за избягване на дублиращо се съдържание)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=
# Блокиране на страници за количка / плащане (ако има такива)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
# Разрешаване на CSS, JS, изображения (Google се нуждае от тях, за да рендира страницата)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/
# Указване на пътя към sitemap
Sitemap: https://domain-name.com/sitemap.xml📝 Забележка за разработчици: Файлът robots.txt трябва да бъде в основния домейн – `https://example.com/robots.txt`. Не в `/blog/robots.txt` или друга поддиректория. Всеки поддомейн се нуждае от собствен robots.txt (например: `blog.example.com/robots.txt` е отделен от `example.com/robots.txt`).
Как да проверите robots.txt на вашия уебсайт
Начин 1: Директна проверка в браузъра
Въведете https://your-domain-name.com/robots.txt в адресната лента. Ще видите съдържанието на файла като текст. Ако видите грешка 404 – уебсайтът няма robots.txt.
Начин 2: Използване на Google Search Console
- Влезте в Google Search Console
- Отидете на Settings → Crawling → robots.txt
- Прегледайте файла robots.txt, който Google чете
- Проверете дали конкретен URL адрес е блокиран
Начин 3: Проверка в доклада Indexing
В Search Console → Pages (или Indexing) → Намерете секцията „Blocked by robots.txt“. Ако има важна страница в този списък, трябва незабавно да редактирате robots.txt.
💡 Препоръчително е да проверявате robots.txt поне веднъж на тримесечие или всеки път, когато уебсайтът претърпи големи промени (добавяне на страници, промяна на структурата, миграция на платформа).
Обобщена таблица: Какво да блокирате и какво да не блокирате в robots.txt
| ✅ ТРЯБВА да се блокира | ❌ НЕ ТРЯБВА да се блокира |
|---|---|
Администраторски страници (/admin/, /wp-admin/) | Начална страница, страници за услуги, страница за контакт |
| Стейджинг / тестови страници | Блог публикации, статии |
Вътрешни търсещи страници (/search?) | CSS и JavaScript файлове |
URL адреси с параметри за проследяване (?utm_, ?fbclid=) | Изображения (Google Images също носи трафик) |
| Страници за количка, плащане, личен акаунт | Sitemap |
| Страници с дублиращо се съдържание (филтри, сортиране, пагинация) | Страници с често задавани въпроси, казуси |
Често задавани въпроси за robots.txt
Каква е разликата между robots.txt и sitemap?
Sitemap казва: „Това са страниците, които искам Google да знае.“ Robots.txt казва: „Това са страниците, които не искам Google да обхожда.“ Два файла се допълват – sitemap показва пътя, robots.txt поставя бариери.
Ако няма robots.txt, ще обхожда ли Google уебсайта?
Да. При липса на robots.txt, Google по подразбиране обхожда всички страници – включително тези, които не искате. Ето защо е добре да имате този файл.
Използвам WordPress, къде е robots.txt?
WordPress генерира виртуален robots.txt. Ако използвате SEO плъгин като Yoast или Rank Math, можете да редактирате robots.txt директно в плъгина, без да имате достъп до сървъра.
Robots.txt влияе ли на скоростта на уебсайта?
Не. Този файл е само няколко KB. Не влияе на скоростта на зареждане на страницата.
Блокирах страница чрез robots.txt, но тя все още се появява в Google?
Защото robots.txt блокира обхождането, но не и индексирането. Ако искате страницата напълно да изчезне от Google, използвайте таг в HTML – и не блокирайте тази страница в robots.txt (за да може Google да прочете noindex тага).
След като редактирам robots.txt, колко време ще отнеме на Google да се актуализира?
Google обикновено проверява отново robots.txt в рамките на 24-48 часа. Можете да отидете в Search Console → Settings → Crawling, за да поискате от Google да провери отново по-рано.
Заключение
Robots.txt е малък файл – обикновено само няколко реда – но пряко влияе върху това дали Google вижда уебсайта ви или не.
Неща, които трябва да запомните:
- Robots.txt е знакът „Зона с ограничен достъп“: казва на Google кои страници не трябва да се сканират
- Проверете веднага щом уебсайтът бъде пуснат на живо: грешката за блокиране на целия уебсайт е често срещана и сериозна
- Не използвайте robots.txt за скриване на страници от Google: той блокира обхождането, но не и индексирането
- Винаги позволявайте CSS и JS: Google се нуждае от тях, за да рендира страницата
- Комбинирайте със sitemap и Search Console: за пълен контрол върху това как Google обхожда и индексира уебсайта
Проверете платформата на вашия уебсайт
Robots.txt е само един от многото технически фактори, влияещи на SEO. Чудите се: „Правилно ли са настроени уебсайтовете ми?“ – отговорът се крие в платформата, която използвате.
GTG CRM ви помага да имате уебсайт с правилен robots.txt, автоматичен sitemap и техническа структура, готова за Google – не е нужно да се притеснявате за редактиране на всеки файл, всеки ред код.
Превърнете наученото в реални резултати – приложете го сега с GTG CRM, безплатно.
Приложете сега
