Jums ir izveidota vietnes karte (sitemap), tā ir nosūtīta uz Google, un jūsu vietne jau sāk tikt indeksēta. Taču kādu dienu jūs atklājat, ka administrācijas lapa (admin), iekšējā maksājumu lapa vai vietnes testēšanas (staging) lapa arī parādās Google meklēšanas rezultātos. Klienti, meklējot jūsu uzņēmuma nosaukumu, redz arī nepabeigtu testēšanas lapu.
Vai tieši pretēji: jūs publicējat jaunu emuāra ierakstu, gaidāt divas nedēļas, bet tas joprojām nav redzams Google. Jūs jautājat tehniskajam dienestam, un viņi atbild: "robots.txt fails bloķē Google visa mājaslapas izpēti."
Abas situācijas ir saistītas ar mazu failu, ko bieži vien neievēro tīmekļa pārvaldnieki: robots.txt.
Šis raksts vienkāršā valodā ar reāliem piemēriem izskaidros, kas ir robots.txt, kā tas darbojas, kad tas jālabo un kādas ir izplatītākās kļūdas, no kurām uzņēmumiem vajadzētu izvairīties.
Kas ir robots.txt? Paskaidrojums tīmekļa pārvaldniekam
Ja vietnes karte (sitemap) ir kā ēkas plāns – parādot Google, kādas ir telpas, tad robots.txt ir zīme "Ierobežota piekļuve" – norādot Google, kurās telpās nedrīkst ieiet.
Tehniskāk izsakoties: robots.txt ir mazs teksta fails, kas atrodas vietnes saknes direktorijā (piemēram: https://example.com/robots.txt). Šis fails satur noteikumus (rules), kas informē meklētājprogrammu robotus – piemēram, Googlebot – par:
- Kuras lapas drīkst izpētīt (crawl)
- Kuras lapas nedrīkst izpētīt
- Kur atrodas vietnes karte (sitemap)
Jūs varat apskatīt jebkuras vietnes robots.txt, ierakstot pārlūkprogrammā: vietnes-nosaukums.com/robots.txt.
💡 Svarīgi: robots.txt ir tikai laipns lūgums, nevis absolūts aizliegums. Uzticami roboti, piemēram, Googlebot, to ievēros, taču sliktie roboti (spam, scraper) to var ignorēt. Ja nepieciešama īsta drošība, izmantojiet paroli vai ugunsmūri – nepaļaujieties uz robots.txt.
Kā izskatās robots.txt fails?
Jums nav nepieciešams rakstīt šo failu no jauna. Taču, lai saprastu, kā tas izskatās, šeit ir vienkāršs robots.txt fails:
User-agent: *
Disallow: /admin/
Disallow: /thanh-toan/
Disallow: /staging/
Allow: /
Sitemap: https://example.com/sitemap.xmlKatras rindas skaidrojums:
| Rinda | Nozīme |
|---|---|
User-agent: * | Attiecas uz visiem robotiem (Google, Bing, utt.) |
Disallow: /admin/ | Neļauj robotiem piekļūt direktorijai /admin/ |
Disallow: /thanh-toan/ | Neļauj robotiem piekļūt maksājumu lapai |
Disallow: /staging/ | Neļauj robotiem piekļūt staging versijai |
Allow: / | Atļauj robotiem izpētīt visu pārējo |
Sitemap: https://... | Informē robotu, kur atrodas vietnes karte |
Šeit ir sarežģītāks piemērs – piemērots uzņēmuma vietnei ar emuāru, pakalpojumu lapām un administrācijas zonu:
# Atļauj visiem robotiem izpētīt publiski pieejamo saturu
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_
# Atļauj Googlebot izpētīt CSS un JS (nepieciešams lapu renderēšanai)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/
Sitemap: https://example.com/sitemap.xml📝 Piezīme izstrādātājiem: Simbols `` ceļā ir aizstājējzīme – `/?utm_` nozīmē bloķēt jebkuru URL, kas satur parametru `?utm_`. Simbols `$` ceļa beigās tiek izmantots, lai precīzi atbilstu URL beigām. Piemēram: `Disallow: /*.pdf$` bloķēs visus PDF failus.
Kā robots.txt darbojas SEO procesā?
Lai saprastu robots.txt vietu, aplūkosim Google procesa posmus, kā tīmekļa vietnes tiek iekļautas meklēšanas rezultātos:
Crawl → Index → Rank
(Izpēte) (Indeksēšana) (Ranžēšana)Robots.txt darbojas pirmajā posmā – Crawl (Izpēte).
Pirms Googlebot sāk izpētīt kādu jūsu vietnes lapu, tas vispirms pārbauda robots.txt. Ja URL ir norādīts sadaļā Disallow, Googlebot to ignorēs – neizpētīs, neskatīs saturu.
Googlebot vēlas izpētīt https://example.com/admin/settings
→ Pārbauda robots.txt
→ Atrod Disallow: /admin/
→ Ignorē, neizpēta
Googlebot vēlas izpētīt https://example.com/dich-vu/
→ Pārbauda robots.txt
→ Nav bloķēts
→ Izpēta normāli → Indeksē → Iespējams, parādīsies meklēšanas rezultātosRobots.txt un vietnes karte (sitemap): papildinošs pāris
| Fails | Loma |
|---|---|
| Vietnes karte (Sitemap) | "Šis ir lapu saraksts, par kurām vēlos, lai Google uzzina" |
| Robots.txt | "Šīs ir lapas, kuras nevēlos, lai Google izpēta" |
Šie divi faili nekonfliktē – tie strādā kopā. Vietnes karte norāda ceļu, robots.txt izliek barjeras. Pareizi tos lietojot, jūs kontrolējat, ko Google redz un ko ignorē jūsu vietnē.
Kam tiek izmantots robots.txt? 4 izplatīti gadījumi
1. Slēpt administrācijas un iekšējās lapas no Google
Admin lapas, CMS backend lapas, staging lapas, testēšanas lapas – tām visām nevajadzētu parādīties Google. Robots.txt palīdz jums pateikt Google: "Nenāciet šeit."
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/2. Izvairīties no "izpētes budžeta" izšķērdēšanas
Google neizpēta bezgalīgi. Katrai vietnei ir savs "izpētes budžets" (crawl budget) – lapu skaits, ko Googlebot apmeklēs katrā apmeklējuma reizē. Ja vietnē ir daudz mazsvarīgu lapu (iekšējās meklēšanas lapas, filtru lapas, lapu pagarinājuma lapas), Googlebot var aizņemties šo lapu izpēti, nevis svarīgās pakalpojumu vai emuāra lapas.
Disallow: /search?
Disallow: /tag/
Disallow: /page/💡 Izpētes budžets galvenokārt ir svarīgs lielām vietnēm (tūkstošiem lapu). Mazām uzņēmuma vietnēm par to parasti nav pārāk jāuztraucas, taču robots.txt uzturēšana kārtībā joprojām ir laba prakse.
3. Bloķēt dublētu saturu
Ja jūsu vietnē ir vairāki URL, kas ved uz vienu un to pašu saturu (piemēram, URL ar izsekošanas parametriem ?utm_source=facebook vai drukāšanas versiju ?print=true), jūs varat bloķēt šos dublētos URL:
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=4. Norādīt ceļu uz vietnes karti (sitemap)
Robots.txt ir pirmā vieta, ko Googlebot pārbauda, nonākot vietnē. Norādot vietnes kartes ceļu šeit, Google var ātrāk atrast vietnes karti – pat ja neesat to nosūtījuši caur Search Console.
Sitemap: https://example.com/sitemap.xmlKad uzņēmumam jāpievērš uzmanība robots.txt?
Ne vienmēr jums ir jālabo robots.txt. Taču ir brīži, kad šī faila pārbaude ir obligāta:
Kad vietne ir jauna (go-live)
Šis ir vissvarīgākais brīdis. Daudzas vietnes tiek pilnībā bloķētas no izpētes, jo izstrādes komanda aizmirsa noņemt rindu Disallow: / – rindu, ko viņi iestatīja izstrādes (staging) laikā, lai Google neindeksētu nepabeigtu versiju.
Pārbaude, kad vietne ir aktīva:
| Kategorija | Pārbaudes veids |
|---|---|
| robots.txt fails pastāv | Atveriet https://vietnes-nosaukums.com/robots.txt pārlūkprogrammā |
| Neesat bloķējuši visu vietni | Pārliecinieties, ka nav rindas Disallow: / |
| Vietnes karte (sitemap) ir deklarēta | Pārliecinieties, ka ir rinda Sitemap: https://vietnes-nosaukums.com/sitemap.xml |
| Svarīgas lapas nav bloķētas | Pārbaudiet, vai pakalpojumu, emuāru un kontaktu lapas nav norādītas pie Disallow |
✅ Kad vietne nedēļām netiek indeksēta Google
Ja jums ir vietnes karte, tā ir nosūtīta caur Search Console, bet Google joprojām to neindeksē – robots.txt ir pirmais aizdomās par iemeslu, kas jāpārbauda.
Kad pievienojat apgabalus, kas jāslēpj (dalībnieku lapas, iekšējās lapas)
Ja vietne pievieno konta pārvaldības lapas, dalībnieku zonas vai iekšējās lapas – atjaunojiet robots.txt, lai bloķētu šos apgabalus.
Kad maināt vietnes platformu vai veicat redesign
Katra platforma (WordPress, Webflow, custom code) rada atšķirīgu URL struktūru. Migrācijas laikā vecais robots.txt var kļūdaini bloķēt jaunās lapas vai nebloķēt nepieciešamās lapas.
Kad Search Console ziņo par kļūdu "Blocked by robots.txt"
Google Search Console piedāvā Indexing (indeksēšanas) pārskatu, kas parāda, kuras lapas ir bloķētas ar robots.txt. Ja redzat, ka svarīga lapa ir bloķēta – ir laiks labot failu nekavējoties.
5 izplatītas robots.txt kļūdas un to novēršana
1. kļūda: Visas vietnes bloķēšana – vissmagākā kļūda
Izpausme: Neviena lapa netiek indeksēta Google. Search Console ziņo par daudzām lapām "Blocked by robots.txt".
Cēlonis: Robots.txt fails satur:
User-agent:
Disallow: /Šīs divas rindas nozīmē: "Aizliegt visiem robotiem piekļūt jebkurai lapai." Tas parasti notiek, kad izstrādātāji iestata šo noteikumu izstrādes (staging) laikā un aizmirst to noņemt, kad vietne kļūst aktīva.
Kā novērst: Labojiet uz:
User-agent: *
Disallow:
Sitemap: https://vietnes-nosaukums.com/sitemap.xmlDisallow: (nav nekas aiz diviem punktiem) = atļaut izpētīt visu.
⚠️ Šī ir Nr. 1 kļūda, ko mēs redzam jaunās uzņēmuma vietnēs. Pēc labošanas Google var paiet dažas dienas līdz dažām nedēļām, lai izpētītu vēlreiz. Nosūtiet vietnes karti vēlreiz caur Search Console, lai paātrinātu procesu.
2. kļūda: CSS un JavaScript bloķēšana
Izpausme: Vietne parādās normāli pārlūkprogrammā, taču, izmantojot Search Console "URL Inspection" rīku, Google redz, ka lapa ir ar sabojātu izkārtojumu vai tukšu saturu.
Cēlonis: Robots.txt bloķē direktoriju, kurā atrodas CSS un JS:
Disallow: /wp-content/
Disallow: /wp-includes/Googlei nepieciešams nolasīt CSS un JS, lai saprastu, kā lapa izskatās (to sauc par "rendering"). Ja tie ir bloķēti, Google nevar attēlot lapu → nesaprot saturu → ietekmē ranžēšanu.
Kā novērst:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/📝 Piezīme izstrādātājiem: Kopš 2014. gada Google skaidri rekomendē: nebloķēt CSS, JS un attēlus robots.txt failā. Googlebot vajag šos resursus, lai pareizi attēlotu lapu. Izmantojiet URL Inspection tool Search Console, lai pārbaudītu, kā Google attēlo jūsu lapu.
3. kļūda: Svarīgu lapu kļūdaina bloķēšana
Izpausme: Pakalpojumu lapas, produktu lapas vai emuāru ieraksti nav redzami Google – lai arī vietnes kartē tie ir norādīti.
Cēlonis: Robots.txt noteikums ir pārāk plašs. Piemēram:
Disallow: /dich-vuŠī rinda bloķē ne tikai /dich-vu/, bet arī /dich-vu-thiet-ke-web/, /dich-vu-seo/ un jebkuru URL, kas sākas ar /dich-vu.
Kā novērst: Pievienojiet / beigās, lai bloķētu precīzi direktoriju:
Disallow: /dich-vu-noi-bo/
Vai izmantojiet Allow, lai aizsargātu nepieciešamās lapas:
Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/📝 Piezīme izstrādātājiem: `Allow` un `Disallow` rindu secībai ir nozīme. Googlebot izmanto viskonkrētāko ceļu (most specific path) noteikumu. Ja tie ir vienāda garuma, `Allow` ir prioritārāks par `Disallow`. Pirms lietošanas vienmēr testējiet ar [Robots Testing Tool](https://support.google.com/webmasters/answer/6062598) Search Console.
4. kļūda: Nav robots.txt faila
Izpausme: Ierakstot vietnes-nosaukums.com/robots.txt → tiek parādīta 404 kļūda.
Cēlonis: Manuāli izveidota vietne, kur izstrādātājs nav izveidojis šo failu. Vai fails tika nejauši izdzēsts izvietošanas laikā.
Ietekme: Nav tik nopietna kā kļūda 1 – ja nav robots.txt, Google pēc noklusējuma izpēta visu. Taču tas nozīmē:
- Google izpētīs admin un testēšanas lapas, iekšējās lapas
- Jums nebūs veida, kā norādīt ceļu uz vietnes karti caur robots.txt
- Trūks pamata kontroles
Kā novērst: Izveidojiet robots.txt failu saknes direktorijā. Minimālais saturs:
User-agent: *
Disallow: /admin/
Disallow: /search?
Sitemap: https://vietnes-nosaukums.com/sitemap.xml5. kļūda: Robots.txt izmantošana, lai paslēptu lapu no Google (nepareiza izpratne)
Izpausme: Jūs bloķējat lapu ar Disallow, bet lapa joprojām parādās Google – lai gan bez satura apraksta (snippet).
Cēlonis: Robots.txt bloķē izpēti, nevis indeksēšanu. Ja lapa jau tika indeksēta iepriekš, vai tai ir atpakaļsaite (backlink) no citas vietnes, Google var saglabāt URL meklēšanas rezultātos – vienkārši neatspoguļojot saturu.
Pareizs risinājums:
| Mērķis | Ko lietot |
|---|---|
| Nevēlaties, lai Google izpēta (skenē) | Disallow robots.txt failā |
| Nevēlaties, lai Google indeksē (parāda) | |
| Nevēlaties nevienu no abiem | Izmantojiet noindex HTML kodā (un nebloķējiet robots.txt failā) |
⚠️ Šis ir visbiežāk pārprastais punkts: Ja jūs gan bloķējat izpēti (robots.txt), gan iestatāt `noindex` (HTML), Google neredzēs noindex tagu, jo tas nevar izpētīt lapu – un lapa var joprojām tikt indeksēta. Risinājums: izmantojiet `noindex` HTML kodā un noņemiet `Disallow` noteikumu šai lapai robots.txt failā.
Robots.txt paraugs uzņēmuma vietnei
Šeit ir robots.txt paraugs, kas piemērots vairumam mazajiem un vidējiem uzņēmumiem (SMB):
# =============================================
# Robots.txt priekš uzņēmuma vietnes
# Atjaunināts: 2026-04-20
# =============================================
# Attiecas uz visiem robotiem
User-agent: *
# Bloķēt administrācijas un iekšējos apgabalus
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/
# Bloķēt iekšējās meklēšanas lapas (lai netērētu izpētes budžetu)
Disallow: /search?
Disallow: /*?s=
# Bloķēt URL ar izsekošanas parametriem (lai izvairītos no dublēta satura)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=
# Bloķēt grozu / maksājumu lapas (ja ir)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
# Atļaut CSS, JS, attēlus (Google vajadzīgi lapu attēlošanai)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/
# Norādīt ceļu uz vietnes karti
Sitemap: https://vietnes-nosaukums.com/sitemap.xml📝 Piezīme izstrādātājiem: Robots.txt fails ir jānovieto root domēnā – `https://example.com/robots.txt`. Nevis `/blog/robots.txt` vai citā apakšdirektorijā. Katram apakšdomēnam nepieciešams atsevišķs robots.txt fails (piemēram, `blog.example.com/robots.txt` ir atsevišķs no `example.com/robots.txt`).
Kā pārbaudīt jūsu vietnes robots.txt
1. metode: Pārbaudīt tieši pārlūkprogrammā
Ierakstiet https://jūsu-vietnes-nosaukums.com/robots.txt adreses joslā. Jūs redzēsiet faila saturu teksta formātā. Ja redzat 404 kļūdu – jūsu vietnei nav izveidota robots.txt fails.
2. metode: Izmantot Google Search Console
- Pierakstieties Google Search Console
- Dodieties uz sadaļu Settings → Crawling → robots.txt
- Apskatiet robots.txt failu, ko Google nolasa
- Pārbaudiet, vai konkrēts URL ir bloķēts
3. metode: Pārbaudīt Indexing pārskatā
Search Console → Pages (vai Indexing) → Atrodiet sadaļu "Blocked by robots.txt". Ja šajā sarakstā ir svarīgas lapas, jums nekavējoties jālabo robots.txt.
💡 Robots.txt ieteicams pārbaudīt vismaz reizi ceturksnī vai ikreiz, kad vietnē notiek lielas izmaiņas (pievieno lapas, maina struktūru, migrē platformu).
Kopsavilkuma tabula: Ko robots.txt vajadzētu bloķēt un ko nevajadzētu
| ✅ VAI VAIZĒT bloķēt | ❌ NEVAJADZĒTU bloķēt |
|---|---|
Administrācijas lapas (/admin/, /wp-admin/) | Sākumlapa, pakalpojumu lapas, kontaktu lapas |
| Staging / testēšanas lapas | Emuāra ieraksti, raksti |
Iekšējās meklēšanas lapas (/search?) | CSS un JavaScript faili |
URL ar izsekošanas parametriem (?utm_, ?fbclid=) | Attēli (Google Images arī nodrošina trafiku) |
| Grozs, maksājumu, personīgo kontu lapas | Vietnes karte (Sitemap) |
| Dublēta satura lapas (filtri, kārtošana, pagarinājumi) | FAQ lapas, gadījumu izpētes |
Bieži uzdotie jautājumi par robots.txt
Kā atšķiras robots.txt un vietnes karte (sitemap)?
Vietnes karte saka: "Šī ir lapa, par kuru es vēlos, lai Google uzzina." Robots.txt saka: "Šī ir lapa, kuru es nevēlos, lai Google izpēta." Abi faili viens otru papildina – vietnes karte norāda ceļu, robots.txt izliek barjeras.
Ja nav robots.txt, vai Google var izpētīt vietni?
Jā. Bez robots.txt Google pēc noklusējuma izpētīs visas lapas – pat tās, ko nevēlaties. Tāpēc ir svarīgi šo failu izveidot.
Es izmantoju WordPress, kur atrodas robots.txt?
WordPress automātiski izveido virtuālu robots.txt (virtual). Ja izmantojat SEO spraudni, piemēram, Yoast vai Rank Math, varat labot robots.txt tieši spraudnī, nepiekļūstot serverim.
Vai robots.txt ietekmē vietnes ātrumu?
Nē. Šis fails ir tikai daži KB. Tas neietekmē lapas ielādes ātrumu.
Esmu bloķējis lapu ar robots.txt, kāpēc tā joprojām parādās Google?
Jo robots.txt bloķē izpēti, nevis indeksēšanu. Ja vēlaties, lai lapa pilnībā pazūd no Google, izmantojiet tagu HTML kodā – un nebloķējiet šo lapu robots.txt failā (lai Google varētu nolasīt noindex tagu).
Cik ilgi pēc robots.txt labošanas Google to atjaunina?
Google parasti pārbauda robots.txt vēlreiz 24-48 stundu laikā. Jūs varat doties uz Search Console → Settings → Crawling un pieprasīt Google pārbaudīt to agrāk.
Secinājums
Robots.txt ir mazs fails – parasti tikai dažas rindas – bet tas tieši ietekmē to, vai Google redzēs jūsu vietni vai nē.
Ko atcerēties:
- Robots.txt ir "Ierobežota piekļuve" zīme: informē Google, kuras lapas nedrīkst izpētīt
- Pārbaudiet nekavējoties, kad vietne ir aktīva: visas vietnes bloķēšanas kļūda ir izplatīta un nopietna
- Neizmantojiet robots.txt, lai paslēptu lapas no Google: tas bloķē izpēti, nevis indeksēšanu
- Vienmēr atļaujiet CSS un JS: Google vajag attēlot lapu, lai saprastu saturu
- Saskaņojiet ar vietnes karti (sitemap) un Search Console: lai pilnībā kontrolētu Google vietnes izpēti un indeksēšanu
Pārbaudiet savas vietnes platformu
Robots.txt ir tikai viens no daudziem tehniskajiem faktoriem, kas ietekmē SEO. Ja jūs jautājat sev: "Vai mana vietne ir pareizi konfigurēta?" – atbilde ir jūsu izmantotajā platformā.
GTG CRM palīdz jums izveidot vietni ar standarta robots.txt, automātisku vietnes karti un tehniski gatavu struktūru Googlei – jums nav jāuztraucas par katra faila, katras koda rindas labošanu.
Pārvērtiet nupat izlasīto par reāliem rezultātiem – izmantojiet GTG CRM, bez maksas.
Lietot tūlīt
