Вие имате карта на сайта, изпратили сте я на Google, уебсайтът ви също започва да се индексира. Но един ден откривате, че администраторската страница, страницата за вътрешно плащане или стейджинг страницата на уебсайта ви се появява в Google. Клиент въвежда името на компанията - вижда и незавършената тестова страница.
Или обратното: публикувате нова блог публикация, чакате две седмици и все още не я виждате в Google. Ако попитате техническия екип, те ще кажат: „Файлът robots.txt блокира Google от обхождане на целия уебсайт.“
И двата сценария са свързани с малък файл, на който малко уеб администратори обръщат внимание: robots.txt.
Тази статия ще обясни какво е robots.txt, как работи, кога трябва да го редактирате и често срещаните грешки, които бизнесите трябва да избягват - всичко това на прост език, с реални примери.
Какво е robots.txt? Обяснение за уеб администратори
Ако картата на сайта е план на сградата - казва на Google кои стаи има, тогава robots.txt е табела „Зона с ограничен достъп“ - казва на Google кои стаи не трябва да се посещават.
Технически казано: robots.txt е малък текстов файл, разположен в основната директория на уебсайта (например: https://example.com/robots.txt). Този файл съдържа правила, които казват на ботовете на търсачките - като Googlebot - следното:
- Кои страници могат да бъдат обхождани (сканирани)
- Кои страници не могат да бъдат обхождани
- Къде се намира картата на сайта
Можете да видите robots.txt на всеки уебсайт, като напишете: domain-name.com/robots.txt в браузъра си.
💡 Важно: robots.txt е само учтива молба, не абсолютно забрана. Реномирани ботове като Googlebot ще се съобразят, но лошите ботове (спам, скрапери) могат да я игнорират. Ако се нуждаете от истинска сигурност, използвайте парола или защитна стена - не разчитайте на robots.txt.
Как изглежда файлът robots.txt?
Не е необходимо да пишете този файл отначало. Но за да разберете, когато го видите, ето един прост файл robots.txt:
User-agent: *
Disallow: /admin/
Disallow: /thanh-toan/
Disallow: /staging/
Allow: /
Sitemap: https://example.com/sitemap.xmlОбяснение на всеки ред:
| Ред | Значение |
|---|---|
User-agent: * | Прилага се за всички ботове (Google, Bing и т.н.) |
Disallow: /admin/ | Забранява на ботовете достъп до директорията /admin/ |
Disallow: /thanh-toan/ | Забранява на ботовете достъп до страницата за плащане |
Disallow: /staging/ | Забранява на ботовете достъп до стейджинг версията |
Allow: / | Позволява на ботовете да обхождат останалата част |
Sitemap: https://... | Указва на ботовете къде се намира картата на сайта |
Ето по-сложен пример - подходящ за бизнес уебсайт с блог, страница за услуги и административна зона:
# Позволява на всички ботове да обхождат публично съдържание
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_
# Позволява на Googlebot да обхожда CSS и JS (необходимо за визуализация на страниците)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/
Sitemap: https://example.com/sitemap.xml📝 Забележка за разработчиците: Символът `` в пътя е заместващ символ — `/?utm_` означава блокиране на всички URL адреси, съдържащи параметъра `?utm_`. Символът `$` в края на пътя се използва за точно съвпадение на края на URL адреса. Например: `Disallow: /*.pdf$` ще блокира всички PDF файлове.
Как работи robots.txt в SEO процеса?
За да разберете мястото на robots.txt, нека да разгледаме процеса, чрез който Google включва уебсайта в резултатите от търсенето:
Crawl → Index → Rank
(Обхождане) (Индексиране) (Класиране)Robots.txt работи на първа стъпка – Обхождане.
Преди Googlebot да започне да обхожда някоя страница на вашия уебсайт, той първо проверява robots.txt. Ако даден URL е посочен в Disallow, Googlebot ще игнорира тази страница – няма да я обхожда, няма да чете съдържанието ѝ.
Googlebot иска да обходи https://example.com/admin/settings
→ Проверява robots.txt
→ Вижда Disallow: /admin/
→ Игнорира, не обхожда
Googlebot иска да обходи https://example.com/dich-vu/
→ Проверява robots.txt
→ Не е блокиран
→ Обхожда нормално → Индексира → Може да се появи в резултатите от търсенетоRobots.txt и sitemap: допълващи се елементи
| Файл | Роля |
|---|---|
| Sitemap | "Това е списък с URL адреси, които искам Google да знае" |
| Robots.txt | "Това са страниците, които не искам Google да обхожда" |
Тези два файла не си противоречат – те работят заедно. Sitemap показва пътя, robots.txt поставя бариери. Когато се комбинират правилно, вие контролирате какво Google вижда и какво игнорира на вашия уебсайт.
За какво се използва robots.txt? 4 често срещани случая
1. Скриване на администраторски и вътрешни страници от Google
Администраторски страници, бекенд страници на CMS, стейджинг страници, тестови страници – всички те не трябва да се показват в Google. Robots.txt ви помага да кажете на Google: "Не влизай тук."
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/2. Избягване на загуба на "crawl budget"
Google не обхожда безкрайно. Всеки уебсайт има "бюджет за обхождане" (crawl budget) – броят страници, които Googlebot ще сканира при всяко посещение. Ако уебсайтът има много неважни страници (страници за вътрешно търсене, филтри, страници с пагинация), Googlebot може да е зает с обхождането на тези страници, вместо на важни страници с услуги или блог публикации.
Disallow: /search?
Disallow: /tag/
Disallow: /page/💡 Crawl budget е важен предимно за големи уебсайтове (хиляди страници). Малките бизнес уебсайтове обикновено не се нуждаят от прекалено много притеснение, но поддържането на чист robots.txt все още е добра практика.
3. Блокиране на дублирано съдържание
Ако вашият уебсайт има множество URL адреси, които водят до едно и също съдържание (например URL адреси с параметри за проследяване ?utm_source=facebook или версия за печат ?print=true), можете да блокирате тези дублирани URL адреси:
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=4. Посочване на пътя към sitemap
Robots.txt е първото място, което Googlebot проверява, когато достигне уебсайт. Поставянето на пътя към sitemap тук помага на Google да намери sitemap по-бързо – дори ако не сте го изпратили чрез Search Console.
Sitemap: https://example.com/sitemap.xmlКога бизнесът трябва да обърне внимание на robots.txt?
Не винаги трябва да редактирате robots.txt. Но има моменти, когато проверка на този файл е задължителна:
Когато уебсайтът е пуснат в експлоатация (go-live)
Това е най-важният момент. Много уебсайтове са напълно блокирани от обхождане, защото разработчиците забравят да премахнат реда Disallow: / – ред, който са поставили по време на стейджинг, за да не индексира Google незавършената версия.
Проверка при пускане в експлоатация:
| Категория | Как да проверите |
|---|---|
| Файлът robots.txt съществува | Отворете https://ten-mien.com/robots.txt в браузър |
| Не блокира целия уебсайт | Уверете се, че НЯМА ред Disallow: / |
| Има заявен sitemap | Уверете се, че ИМА ред Sitemap: https://ten-mien.com/sitemap.xml |
| Важни страници не са блокирани | Проверете дали страници с услуги, блог, контакти не са в Disallow |
✅ Когато уебсайтът не е индексиран от Google след няколко седмици
Ако вече имате карта на сайта, изпратена чрез Search Console, но Google все още не я индексира - robots.txt е първият заподозрян, който трябва да проверите.
При добавяне на зони за скриване (страници за членове, вътрешни страници)
Ако уебсайтът добави страници за управление на акаунти, зони за членове или вътрешни страници - актуализирайте robots.txt, за да блокирате тези зони.
При смяна на платформата на уебсайта или при редизайн
Всяка платформа (WordPress, Webflow, персонализиран код) създава различна структура на URL адресите. При миграция, старият robots.txt може погрешно да блокира нови страници или да пропусне страници, които трябва да бъдат блокирани.
Когато Search Console докладва грешка "Blocked by robots.txt"
Google Search Console има отчет Indexing, който показва кои страници са блокирани от robots.txt. Ако видите, че важна страница е блокирана - това е моментът, в който трябва да редактирате файла.
5 често срещани грешки в robots.txt и как да ги коригирате
Грешка 1: Блокиране на целия уебсайт - най-сериозната грешка
Симптоми: Нито една страница не е индексирана от Google. Search Console показва множество страници "Blocked by robots.txt".
Причина: Файлът robots.txt съдържа:
User-agent:
Disallow: /Тези два реда означават: "Забрани на всички ботове достъпа до всяка страница." Обикновено се случва, когато разработчиците поставят това правило по време на работа в стажинг среда и забравят да го премахнат при стартиране.
Как да коригирате: Редактирайте на:
User-agent: *
Disallow:
Sitemap: https://ten-mien.com/sitemap.xmlDisallow: (без нищо след двоеточието) = позволява обхождане на всичко.
⚠️ Това е грешка №1, която виждаме при нови корпоративни уебсайтове. След корекция, на Google може да отнеме няколко дни до няколко седмици, за да обходи отново. Изпратете отново картата на сайта чрез Search Console, за да ускорите процеса.
Грешка 2: Блокиране на CSS и JavaScript
Симптоми: Уебсайтът се показва нормално в браузъра, но когато използвате инструмента "URL Inspection" в Search Console, Google вижда, че страницата има счупен дизайн или празно съдържание.
Причина: Robots.txt блокира директориите, съдържащи CSS и JS:
Disallow: /wp-content/
Disallow: /wp-includes/Google трябва да чете CSS и JS, за да разбере как изглежда страницата (наречено "rendering"). Ако е блокирано, Google не може да рендерира страницата → не разбира съдържанието → засяга класирането.
Как да коригирате:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/📝 Бележка за разработчици: От 2014 г. Google ясно препоръчва: не блокирайте CSS, JS и изображения в robots.txt. Googlebot се нуждае от тези ресурси, за да рендерира страницата правилно. Използвайте инструмента URL Inspection в Search Console, за да проверите как Google рендерира вашата страница.
Грешка 3: Погрешно блокиране на важна страница
Симптоми: Страници за услуги, продуктови страници или блог публикации не се появяват в Google - въпреки че са включени в картата на сайта.
Причина: Правилото в robots.txt е твърде широко. Например:
Disallow: /dich-vuТози ред блокира не само /dich-vu/, но и /dich-vu-thiet-ke-web/, /dich-vu-seo/ и всеки URL, който започва с /dich-vu.
Как да коригирате: Добавете наклонена черта (/) в края на пътя, за да блокирате точно директорията:
Disallow: /dich-vu-noi-bo/
Или използвайте Allow, за да защитите необходимата страница:
Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/📝 Бележка за разработчици: Редът наAllowиDisallowима значение. Googlebot използва най-специфичния път (most specific path). Ако са с еднаква дължина,Allowима предимство предDisallow. Винаги тествайте с Robots Testing Tool в Search Console, преди да приложите.
Грешка 4: Липсващ файл robots.txt
Проявление: Въвеждане на ten-mien.com/robots.txt → връща грешка 404.
Причина: Уебсайтът е създаден ръчно и разработчикът не е създал този файл. Или файлът е бил изтрит по погрешка при разполагане.
Влияние: Не е толкова сериозно, колкото грешка 1 – ако няма robots.txt, Google ще обхожда всичко по подразбиране. Но това означава:
- Google ще обхожда административни, тестови, вътрешни страници
- Нямате начин да посочите пътя към картата на сайта чрез robots.txt
- Липсва основен контрол
Решение: Създайте файл robots.txt в основната директория. Минимално съдържание:
User-agent: *
Disallow: /admin/
Disallow: /search?
Sitemap: https://ten-mien.com/sitemap.xmlГрешка 5: Използване на robots.txt за скриване на страници от Google (грешно разбиране на целта)
Проявление: Блокирате страница чрез Disallow, но страницата все още се появява в Google – въпреки че няма snippet с текст.
Причина: Robots.txt блокира обхождането, не индексирането. Ако страницата вече е била индексирана преди това, или ако има обратна връзка от друг уебсайт, Google може да запази URL адреса в резултатите от търсене – просто няма да показва съдържание.
Правилно решение:
| Цел | Какво да използвате |
|---|---|
| Не искате Google да обхожда (сканира) | Disallow в robots.txt |
| Не искате Google да индексира (показва) | Таг |
| Не искате нито едното, нито другото | Използвайте noindex в HTML (и не блокирайте в robots.txt) |
⚠️ Това е най-често срещаната грешка: Ако едновременно блокирате обхождането (robots.txt) и зададете `noindex` (HTML), Google няма да види тага noindex, тъй като не обхожда страницата — и страницата може все още да бъде индексирана. Решение: използвайте `noindex` в HTML и премахнете правилото `Disallow` за тази страница от robots.txt.
Примерен robots.txt за корпоративен уебсайт
По-долу е примерен файл robots.txt, подходящ за повечето корпоративни уебсайтове за малки и средни предприятия (SMB):
# =============================================
# Robots.txt за корпоративен уебсайт
# Актуализиран: 2026-04-20
# =============================================
# Прилага се за всички ботове
User-agent: *
# Блокиране на административната и вътрешната зона
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/
# Блокиране на страници за вътрешно търсене (за да се избегне прахосване на crawl budget)
Disallow: /search?
Disallow: /*?s=
# Блокиране на URL адреси с параметри за проследяване (за да се избегне дублирано съдържание)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=
# Блокиране на страници с количка / плащане (ако има такива)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
# Разрешаване на CSS, JS, изображения (Google се нуждае от тях, за да рендерира страницата)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/
# Посочване към картата на сайта
Sitemap: https://ten-mien.com/sitemap.xml📝 Забележка за разработчици: Файлът robots.txt трябва да се намира в основния домейн — `https://example.com/robots.txt`. Не в `/blog/robots.txt` или друга поддиректория. Всеки поддомейн се нуждае от собствен robots.txt (например, `blog.example.com/robots.txt` е отделен от `example.com/robots.txt`).
Как да проверите robots.txt на вашия уебсайт
Начин 1: Проверка директно в браузъра
Въведете https://ten-mien-cua-ban.com/robots.txt в адресната лента. Ще видите съдържанието на файла като текст. Ако видите грешка 404 — уебсайтът все още няма robots.txt.
Начин 2: Използване на Google Search Console
- Влезте в Google Search Console
- Отидете на Settings → Crawling → robots.txt
- Прегледайте файла robots.txt, който Google чете
- Проверете дали конкретен URL адрес е блокиран
Метод 3: Проверка в доклада за индексиране
В Search Console → Pages (или Indexing) → Намерете секцията "Blocked by robots.txt". Ако има важни страници в този списък, трябва незабавно да редактирате robots.txt.
💡 Препоръчва се проверка на robots.txt поне веднъж на тримесечие или всеки път, когато има големи промени по уебсайта (добавяне на страници, промяна на структурата, мигриране на платформа).
Таблица за обобщение: Какво трябва и какво не трябва да блокира robots.txt
| ✅ ТРЯБВА да се блокира | ❌ НЕ ТРЯБВА да се блокира |
|---|---|
Административни страници (/admin/, /wp-admin/) | Начална страница, страници за услуги, страници за контакт |
| Staging / тестови страници | Блог публикации, статии |
Страници за вътрешно търсене (/search?) | CSS и JavaScript файлове |
URL адреси с параметри за проследяване (?utm_, ?fbclid=) | Изображения (Google Images също носи трафик) |
| Страници за количка, плащане, лични акаунти | Sitemap |
| Страници с дублирано съдържание (филтриране, сортиране, пагинация) | Страници с ЧЗВ, казуси |
Често задавани въпроси относно robots.txt
Каква е разликата между robots.txt и sitemap?
Sitemap казва: „Това са страниците, за които искам Google да знае.“ Robots.txt казва: „Това са страниците, които не искам Google да обхожда.“ Двата файла се допълват — sitemap показва пътя, а robots.txt поставя бариери.
Ако нямам robots.txt, ще може ли Google да обхожда уебсайта ми?
Да. Без robots.txt, Google по подразбиране ще обхожда всички страници — дори тези, които не искате. Ето защо е важно да имате този файл.
Използвам WordPress, къде се намира robots.txt?
WordPress автоматично генерира виртуален robots.txt файл. Ако използвате SEO плъгин като Yoast или Rank Math, можете да редактирате robots.txt директно в плъгина, без да се налага достъп до сървъра.
Robots.txt влияе ли на скоростта на уебсайта?
Не. Този файл е само няколко KB. Той не влияе на скоростта на зареждане на страницата.
Блокирал съм страница чрез robots.txt, защо страницата все още се появява в Google?
Защото robots.txt блокира само обхождането, не и индексирането. Ако искате страницата напълно да изчезне от Google, използвайте тага в HTML — и не блокирайте тази страница в robots.txt (за да може Google да прочете тага noindex).
След като редактирам robots.txt, колко време ще отнеме на Google да се актуализира?
Google обикновено проверява отново robots.txt в рамките на 24-48 часа. Можете да отидете в Search Console → Settings → Crawling, за да поискате от Google да провери отново по-рано.
Заключение
Robots.txt е малък файл — обикновено само няколко реда — но той пряко влияе на това дали Google вижда уебсайта ви или не.
Неща, които трябва да запомните:
- Robots.txt е знакът „Зона с ограничен достъп“: той казва на Google кои страници не трябва да се обхождат.
- Проверявайте веднага след стартиране на уебсайта: грешки, които блокират целия уебсайт, са най-често срещаните и най-сериозните.
- Не използвайте robots.txt за скриване на страници от Google: той блокира обхождането, не и индексирането.
- Винаги позволявайте CSS и JS: Google трябва да рендира страницата, за да разбере съдържанието.
- Комбинирайте със sitemap и Search Console: за пълен контрол върху обхождането и индексирането на уебсайта от Google.
Проверете платформата на вашия уебсайт
robots.txt е само един от многото технически фактори, които влияят на SEO. Ако се чудите: "Правилно ли е настроен уебсайтът ми?" - отговорът се крие в платформата, която използвате.
GTG CRM ви помага да имате уебсайт с правилен robots.txt, автоматична карта на сайта (sitemap) и техническа структура, готова за Google - няма нужда да се занимавате с настройка на всеки файл, всеки ред код.
Превърнете току-що прочетеното в реални резултати — приложете го сега с GTG CRM, безплатно.
Приложете сега
