Jūs turite svetainės žemėlapį (sitemap), jis buvo nusiųstas „Google“, ir jūsų svetainė pradeda būti indeksuojama. Tačiau vieną dieną pastebite, kad administracinė (admin), vidinio mokėjimo ar jūsų svetainės „staging“ puslapiai taip pat pasirodo „Google“. Klientas įveda jūsų įmonės pavadinimą – ir pamato nebaigtą testinį puslapį.
Arba atvirkščiai: paskelbėte naują tinklaraščio įrašą, palaukėte dvi savaites ir vis tiek jo nematote „Google“. Paklausėte techninės komandos, jie pasakė: „robots.txt failas blokuoja „Google“ nuo viso jūsų svetainės naršymo.“
Abi situacijos susijusios su mažu failu, į kurį retas žiniatinklio administratorius atkreipia dėmesį: robots.txt.
Šiame straipsnyje paprastai ir su praktiniais pavyzdžiais bus paaiškinta, kas yra robots.txt, kaip jis veikia, kada jį reikėtų redaguoti ir kokių dažnų klaidų turėtų vengti įmonės.
Kas yra robots.txt? Paaiškinimas žiniatinklio administratoriams
Jei sitemap yra pastato planas – nurodantis „Google“, kokie yra kambariai, tai robots.txt yra ženklas „Ribojama zona“ – sakantis „Google“, į kuriuos kambarius negalima eiti.
Techniškai kalbant: robots.txt yra mažas tekstinis failas, esantis jūsų svetainės pagrindiniame kataloge (pvz., https://example.com/robots.txt). Šiame faile yra taisyklių rinkinys, kuris nurodo paieškos variklių robotams – tokiems kaip „Googlebot“ –:
- Kuriuos puslapius leidžiama naršyti (nuskaityti)
- Kuriuos puslapius negalima naršyti
- Kur yra svetainės žemėlapis
Galite peržiūrėti bet kurios svetainės robots.txt failą, naršyklėje įvesdami: domain-name.com/robots.txt.
💡 Svarbu: robots.txt yra tik mandagus prašymas, o ne absoliutus draudimas. Patikimi robotai, tokie kaip „Googlebot“, jo laikysis, tačiau blogi robotai (šlamštas, skreperiai) gali jo nepaisyti. Jei jums reikia tikros apsaugos, naudokite slaptažodžius arba ugniasienes – nepasikliaukite robots.txt.
Kaip atrodo robots.txt failas?
Jums nereikės rašyti šio failo nuo nulio. Tačiau, kad suprastumėte jį matydami, štai paprastas robots.txt failas:
User-agent: *
Disallow: /admin/
Disallow: /thanh-toan/
Disallow: /staging/
Allow: /
Sitemap: https://example.com/sitemap.xmlKiekvienos eilutės paaiškinimas:
| Eilutė | Reikšmė |
|---|---|
User-agent: * | Taikoma visiems robotams (Google, Bing ir kt.) |
Disallow: /admin/ | Neleisti robotams patekti į katalogą /admin/ |
Disallow: /thanh-toan/ | Neleisti robotams patekti į mokėjimo puslapį |
Disallow: /staging/ | Neleisti robotams patekti į „staging“ versiją |
Allow: / | Leisti robotams naršyti likusią dalį |
Sitemap: https://... | Nurodyti robotams, kur yra svetainės žemėlapis |
Štai sudėtingesnis pavyzdys – tinkamas įmonės svetainei, turinčiai tinklaraštį, paslaugų puslapius ir administracinę zoną:
# Leisti visiems robotams naršyti viešą turinį
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_
# Leisti Googlebot naršyti CSS ir JS (reikalinga puslapio atvaizdavimui)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/
Sitemap: https://example.com/sitemap.xml📝 Pastaba kūrėjams: Kelias esantis simbolis `` yra laikinasis simbolis — `/?utm_` reiškia blokavimą visų URL, kuriuose yra parametras `?utm_`. Simbolis `$` kelio gale naudojamas tiksliai suderinti su URL pabaiga. Pavyzdžiui: `Disallow: /*.pdf$` blokuos visus PDF failus.
Kaip robots.txt veikia SEO procese?
Norėdami suprasti robots.txt vietą, prisiminkime „Google“ procesą, kaip svetainė patenka į paieškos rezultatus:
Crawl → Index → Rank
(Nuskaitymas) (Saugojimas) (Reitingavimas)Robots.txt veikia pirmajame etape – indeksavimas (Crawl).
Prieš „Googlebot“ pradėdamas indeksuoti bet kurį jūsų svetainės puslapį, jis pirmiausia patikrina robots.txt. Jei URL yra nurodytas Disallow, „Googlebot“ praleis tą puslapį – neindeksuos, neskaitys turinio.
Googlebot nori indeksuoti https://example.com/admin/settings
→ Patikrina robots.txt
→ Randa Disallow: /admin/
→ Praleidžia, neindeksuoja
Googlebot nori indeksuoti https://example.com/dich-vu/
→ Patikrina robots.txt
→ Nėra blokuojamas
→ Indeksuoja normaliai → Įtraukia į indeksą → Gali pasirodyti paieškos rezultatuoseRobots.txt ir sitemap: papildantis duetas
| Failas | Vaidmuo |
|---|---|
| Sitemap | „Tai sąrašas puslapių, kuriuos noriu, kad Google žinotų“ |
| Robots.txt | „Tai puslapiai, kurių nenoriu, kad Google indeksuotų“ |
Šie du failai nesipriešina – jie veikia kartu. „Sitemap“ rodo kelią, „robots.txt“ stato barjerus. Teisingai juos sujungus, galite kontroliuoti, ką Google mato ir ko ignoruoja jūsų svetainėje.
Kam naudojamas robots.txt? 4 dažni atvejai
1. Paslėpti administravimo ir vidinius puslapius nuo Google
Administratoriaus puslapiai, CMS (turinio valdymo sistemos) „backend“ puslapiai, paruošiamieji (staging), testavimo puslapiai – visa tai neturėtų pasirodyti Google. „Robots.txt“ padeda pasakyti Google: „Čia neikite.“
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/2. Išvengti „crawl budget“ (indeksavimo biudžeto) švaistymo
Google neindeksuoja neribotai. Kiekviena svetainė turi „indeksavimo biudžetą“ (crawl budget) – puslapių skaičių, kurį „Googlebot“ apžvelgs per kiekvieną apsilankymą. Jei svetainėje yra daug nesvarbių puslapių (vidinės paieškos puslapiai, filtravimo puslapiai, puslapių numeravimo puslapiai), „Googlebot“ gali užimti šių puslapių indeksavimą, užuot indeksavęs svarbius paslaugų puslapius ar tinklaraščio įrašus.
Disallow: /search?
Disallow: /tag/
Disallow: /page/💡 Indeksavimo biudžetas yra svarbiausias didelėms svetainėms (tūkstančiai puslapių). Mažų verslų svetainėms dažnai nereikia per daug nerimauti, tačiau tvarkingas robots.txt išlaikymas vis tiek yra geras įprotis.
3. Blokuoti pasikartojantį turinį
Jei svetainėje yra daug URL nuorodų į tą patį turinį (pvz., URL su sekimo parametrais ?utm_source=facebook arba spausdinimo versija ?print=true), galite blokuoti šias pasikartojančias nuorodas:
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=4. Nurodyti kelią į sitemap
„Robots.txt“ yra pirmoji vieta, kurią „Googlebot“ tikrina atvykęs į svetainę. Nurodydami „sitemap“ nuorodą čia, padedate Google greičiau rasti „sitemap“ – net jei dar neatsiuntėte jos per „Search Console“.
Sitemap: https://example.com/sitemap.xmlKada verslui reikia atkreipti dėmesį į robots.txt?
Ne visada reikia redaguoti robots.txt. Tačiau yra akimirkų, kai šio failo patikrinimas yra privalomas:
Kai svetainė naujai paleidžiama (go-live)
Tai svarbiausias momentas. Daugelis svetainių yra visiškai blokuojamos nuo indeksavimo, nes kūrėjai pamiršta pašalinti eilutę Disallow: / – eilutę, kurią jie įtraukė paruošiamojo (staging) laikotarpio metu, kad Google neįtrauktų nebaigtos versijos į indeksą.
Patikrinimas paleidžiant svetainę:
| Kategorija | Kaip patikrinti |
|---|---|
| Robots.txt failas egzistuoja | Atidarykite https://vardas-domeno.com/robots.txt naršyklėje |
| Nėra blokuojama visa svetainė | Įsitikinkite, kad NĖRA eilutės Disallow: / |
| Nurodyta sitemap | Įsitikinkite, kad YRA eilutė Sitemap: https://vardas-domeno.com/sitemap.xml |
| Svarbūs puslapiai nėra blokuojami | Patikrinkite, ar paslaugų, tinklaraščio, kontaktų puslapiai nepriklauso Disallow |
✅ Kai svetainė neįtraukiama į Google indeksą po daugelio savaičių
Jei jau turite žemėlapį, pateiktą per Search Console, bet „Google“ vis tiek jo neindeksuoja – „robots.txt“ yra pirmasis įtariamasis, kurį reikia patikrinti.
Pridedant slėptinų zonų (narių puslapių, vidinių puslapių)
Jei svetainėje pridedami paskyros valdymo puslapiai, narių zona arba vidiniai puslapiai – atnaujinkite „robots.txt“, kad užblokuotumėte šias zonas.
Keičiant svetainės platformą arba atliekant persitvarkymą
Kiekviena platforma (WordPress, Webflow, pasirinktinis kodas) sukuria skirtingą URL struktūrą. Migruojant senas „robots.txt“ failas gali neteisingai užblokuoti naujus puslapius arba praleisti tuos, kuriuos reikia užblokuoti.
Kai Search Console pateikia klaidą „Užblokuota per robots.txt“
„Google Search Console“ turi ataskaitą Indexavimo, kurioje nurodoma, kurie puslapiai yra užblokuoti per „robots.txt“. Jei matote, kad svarbus puslapis yra užblokuotas – metas taisyti failą.
5 dažnos „robots.txt“ klaidos ir kaip jas ištaisyti
1 klaida: Visos svetainės blokavimas – rimčiausia klaida
Simptomai: Nė vienas puslapis nėra „Google“ indeksuojamas. Search Console pateikia daugybę puslapių „Užblokuota per robots.txt“.
Priežastis: „robots.txt“ failas yra:
User-agent:
Disallow: /Šios dvi eilutės reiškia: „Uždrausti visiems robotams įeiti į bet kurį puslapį.“ Tai dažnai nutinka, kai kūrėjas nustato šią taisyklę atlikdamas stadijos darbą ir pamiršta ją pašalinti, kai svetainė tampa vieša.
Kaip ištaisyti: Pataisykite į:
User-agent: *
Disallow:
Sitemap: https://ten-mien.com/sitemap.xmlDisallow: (nieko po dvitaškio) = leidžiama viską nuskaityti.
⚠️ Tai yra pirmoji klaida, kurią pastebime naujose verslo svetainėse. Po pataisymo „Google“ gali prireikti nuo kelių dienų iki kelių savaičių, kad vėl nuskaitytų svetainę. Pateikite žemėlapį dar kartą per Search Console, kad pagreitintumėte procesą.
2 klaida: CSS ir JavaScript blokavimas
Simptomai: Svetainė naršyklėje rodoma normaliai, tačiau naudojant „URL Inspection“ įrankį „Search Console“, „Google“ mato, kad puslapis sugadintas arba tuščias.
Priežastis: „robots.txt“ blokuoja katalogus, kuriuose yra CSS ir JS:
Disallow: /wp-content/
Disallow: /wp-includes/„Google“ turi skaityti CSS ir JS, kad suprastų, kaip atrodo puslapis (tai vadinama „renderinimu“). Jei tai blokuojama, „Google“ negali tinkamai atvaizduoti puslapio → nesupranta turinio → tai paveikia reitingą.
Kaip ištaisyti:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/📝 Pastaba kūrėjams: Nuo 2014 m. „Google“ aiškiai rekomenduoja: neblokuoti CSS, JS ir vaizdų „robots.txt“ faile. „Googlebot“ reikalingi šie ištekliai, kad tinkamai atvaizduotų puslapį. Naudokite „URL Inspection“ įrankį „Search Console“, kad patikrintumėte, kaip „Google“ atvaizduoja jūsų puslapį.
3 klaida: Klaidingas svarbių puslapių blokavimas
Simptomai: Paslaugų, produktų arba tinklaraščio įrašų puslapiai nerodomi „Google“ – nors jie yra žemėlapyje.
Priežastis: Taisyklė „robots.txt“ yra per plati. Pavyzdžiui:
Disallow: /dich-vuŠi eilutė blokuoja ne tik /dich-vu/, bet ir /dich-vu-thiet-ke-web/, /dich-vu-seo/ ir bet kokį URL, prasidedantį /dich-vu.
Kaip ištaisyti: Pridėkite / galiniame kelyje, kad tiksliai užblokuotumėte katalogą:
Disallow: /dich-vu-noi-bo/
Arba naudokite Allow, kad apsaugotumėte reikiamus puslapius:
Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/📝 Pastaba kūrėjams: „Allow“ ir „Disallow“ tvarka turi įtakos. „Googlebot“ naudoja konkrečiausią kelią (most specific path). Jei keliai yra vienodo ilgio, „Allow“ yra teikiama pirmenybė nei „Disallow“. Visada patikrinkite naudodami Robots Testing Tool „Search Console“ prieš diegiant.
4 klaida: Nėra „robots.txt“ failo
Išraiška: Įvedate ten-mien.com/robots.txt → gaunate 404 klaidą.
Priežastis: Svetainė sukurta rankiniu būdu, o kūrėjas nesukūrė šio failo. Arba failas netyčia ištrintas diegiant.
Poveikis: Ne toks rimtas kaip 1 klaida – jei nėra robots.txt, „Google“ pagal numatytuosius nustatymus atlieka visų puslapių indeksavimą. Tačiau tai reiškia:
- „Google“ indeksuos administravimo puslapius, testavimo puslapius, vidinius puslapius
- Jūs neturite galimybės nurodyti kelio į „sitemap“ per robots.txt
- Trūksta pagrindinio valdymo
Sprendimas: Sukurkite robots.txt failą šakninėje kataloge. Minimalus turinys:
User-agent: *
Disallow: /admin/
Disallow: /search?
Sitemap: https://ten-mien.com/sitemap.xml5 klaida: „Robots.txt“ naudojimas puslapiui paslėpti nuo „Google“ (netinkamai suprantama paskirtis)
Išraiška: Jūs blokuojate puslapį naudodami Disallow, bet šis puslapis vis tiek rodomas „Google“ – nors ir be turinio ištraukos.
Priežastis: „Robots.txt“ blokuoja indeksavimą (crawl), bet ne įtraukimą į indeksą (index). Jei puslapis jau buvo įtrauktas į indeksą anksčiau, arba iš kitos svetainės yra nuoroda į jį, „Google“ gali išsaugoti URL paieškos rezultatuose – tiesiog be turinio rodymo.
Tinkamas sprendimas:
| Tikslas | Ką naudoti |
|---|---|
| Nenorite, kad „Google“ indeksuotų (scan) | Disallow robots.txt faile |
| Nenorite, kad „Google“ įtrauktų į indeksą (rodytų) | <meta name="robots" content="noindex"/> žyma HTML faile |
| Nenorite nei vieno, nei kito | Naudokite `noindex` HTML faile (ir ne blokuokite robots.txt faile) |
⚠️ Tai yra dažniausiai neteisingai suprantamas dalykas: Jei blokuojate indeksavimą (robots.txt) ir nustatote `noindex` (HTML), „Google“ nepamatys `noindex` žymos, nes nebus indeksuojamas tas puslapis — ir puslapis vis tiek gali būti įtrauktas į indeksą. Sprendimas: naudokite `noindex` HTML faile ir pašalinkite `Disallow` taisyklę tam puslapiui robots.txt faile.
Pavyzdinis robots.txt failas įmonių svetainėms
Štai pavyzdinis robots.txt failas, tinkantis daugumai SMB įmonių svetainių:
# =============================================
# Robots.txt įmonių svetainei
# Atnaujinta: 2026-04-20
# =============================================
# Taikoma visiems botams
User-agent: *
# Blokuoti administravimo ir vidinius skyrius
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/
# Blokuoti vidines paieškos puslapius (kad nereikėtų gaišti indekso biudžeto)
Disallow: /search?
Disallow: /*?s=
# Blokuoti URL su sekimo parametrais (kad būtų išvengta pasikartojančio turinio)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=
# Blokuoti pirkinių krepšelio / atsiskaitymo puslapius (jei yra)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
# Leisti CSS, JS, paveikslėlius (kad „Google“ galėtų renderinti puslapį)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/
# Nurodymas į sitemap
Sitemap: https://ten-mien.com/sitemap.xml📝 Pastaba kūrėjams: „Robots.txt“ failas turi būti pateiktas pagrindiniame domene — `https://example.com/robots.txt`. Ne `/blog/robots.txt` ar kitame subkataloge. Kiekvienas subdomenas reikalauja atskiro robots.txt failo (pvz., `blog.example.com/robots.txt` atskirai nuo `example.com/robots.txt`).
Kaip patikrinti savo svetainės robots.txt
1 būdas: Patikrinti tiesiogiai naršyklėje
Įveskite https://ten-mien-cua-ban.com/robots.txt adreso juostoje. Pamatysite failo turinį tekstiniu formatu. Jei matote 404 klaidą — svetainė dar neturi robots.txt.
2 būdas: Naudoti „Google Search Console“
- Prisijunkite prie „Google Search Console“
- Eikite į Settings → Crawling → robots.txt
- Peržiūrėkite „robots.txt“ failą, kurį skaito „Google“.
- Patikrinkite, ar konkreti URL nebuvo užblokuota
3 būdas: Patikrinkite indekso ataskaitoje
„Search Console“ → Pages (arba Indexing) → Raskite skiltį "Blocked by robots.txt". Jei šiame sąraše yra svarbių puslapių, turite nedelsdami pataisyti „robots.txt“.
💡 „Robots.txt“ failą reikėtų tikrinti bent kartą per ketvirtį arba kaskart, kai svetainėje atliekami dideli pakeitimai (pridedami puslapiai, keičiama struktūra, migruojama platforma).
Santrauka: Ką reikėtų ir ko nereikėtų blokuoti „robots.txt“
| ✅ REIKĖTŲ blokuoti | ❌ NEreikėtų blokuoti |
|---|---|
Administraciniai puslapiai (/admin/, /wp-admin/) | Pagrindinis puslapis, paslaugų puslapiai, kontaktų puslapiai |
| „Staging“ / testavimo puslapiai | Tinklaraščio įrašai, straipsniai |
Vidinės paieškos puslapiai (/search?) | CSS ir „JavaScript“ failai |
URL su sekimo parametrais (?utm_, ?fbclid=) | Vaizdai („Google Images“ taip pat generuoja srautą) |
| Pirkinių krepšelio, atsiskaitymo, asmeninės paskyros puslapiai | Svetainės žemėlapis |
| Dubliuojamo turinio puslapiai (filtrai, rūšiavimas, puslapiavimas) | DUK puslapiai, atvejų tyrimai |
Dažnai užduodami klausimai apie „robots.txt“
Kuo skiriasi „robots.txt“ ir svetainės žemėlapis?
Svetainės žemėlapis sako: „Štai puslapis, apie kurį noriu, kad „Google“ žinotų.“ „Robots.txt“ sako: „Štai puslapis, kurio nenoriu, kad „Google“ skaitytų.“ Abu failai papildo vienas kitą – svetainės žemėlapis parodo kelią, o „robots.txt“ stato užtvaras.
Jei nėra „robots.txt“, ar „Google“ gali skaityti svetainę?
Taip. Be „robots.txt“, „Google“ pagal numatytuosius nustatymus skaito visus puslapius – net tuos, kurių nenorite. Štai kodėl svarbu turėti šį failą.
Aš naudoju „WordPress“, kur yra „robots.txt“?
„WordPress“ automatiškai sukuria virtualų „robots.txt“ failą. Jei naudojate SEO papildinį, pvz., „Yoast“ ar „Rank Math“, galite redaguoti „robots.txt“ tiesiogiai papildinyje, nesijungdami prie serverio.
Ar „robots.txt“ turi įtakos svetainės greičiui?
Ne. Šis failas sveria vos kelis KB. Jis neturi įtakos puslapio įkėlimo greičiui.
Aš užblokavau puslapį per „robots.txt“, bet jis vis tiek rodomas „Google“?
Nes „robots.txt“ blokuoja tik skaitymą, bet ne indeksavimą. Jei norite, kad puslapis visiškai dingtų iš „Google“, naudokite žymą HTML kode – ir neužblokuokite to puslapio „robots.txt“ faile (kad „Google“ galėtų perskaityti „noindex“ žymą).
Kiek laiko užtruks, kol „Google“ atnaujins pakeitimus „robots.txt“ faile?
„Google“ paprastai perskaito „robots.txt“ failą per 24–48 valandas. Galite „Search Console“ → Settings → Crawling“ paprašyti „Google“ patikrinti anksčiau.
Išvada
„Robots.txt“ yra mažas failas – dažnai vos kelios eilutės – bet jis tiesiogiai lemia, ar „Google“ matys jūsų svetainę.
Ką svarbu atsiminti:
- „Robots.txt“ yra „Draudžiama zona“ ženklas: jis pasako „Google“, kurių puslapių neturėtų skaityti
- Tikrinkite, kai tik svetainė paleidžiama: klaidingas viso tinklalapio blokavimas yra dažna ir rimčiausia klaida
- Nenaudokite „robots.txt“ slėpti puslapius nuo „Google“: jis blokuoja skaitymą, bet ne indeksavimą
- Visada leiskite CSS ir JS: „Google“ turi atvaizduoti puslapį, kad suprastų turinį
- Naudokite kartu su svetainės žemėlapiu ir „Search Console“: kad visiškai kontroliuotumėte, kaip „Google“ skaito ir indeksuoja svetainę
Patikrinkite savo svetainės platformą
Robots.txt yra tik vienas iš daugelio techninių veiksnių, turinčių įtakos SEO. Jei galvojate: "Ar mano svetainė yra tinkamai sukonfigūruota?" – atsakymas slypi platformoje, kurią naudojate.
GTG CRM padeda sukurti svetainę su tinkamu robots.txt, automatiniu žemėlapiu ir technine struktūra, paruošta Google – jums nereikės rūpintis kiekvieno failo ar kodo eilutės koregavimu.
Pritaikykite tai, ką ką tik perskaitėte, praktiniams rezultatams – pradėkite naudoti GTG CRM dabar, nemokamai.
Pradėkite dabar
