Mikä on Robots.txt ja milloin yritysten tulisi välittää tästä tiedostosta?

Mikä on Robots.txt ja milloin yritysten tulisi välittää tästä tiedostosta?

Sinulla on sivustokartta, olet lähettänyt sen Googlelle ja verkkosivustoasi aletaan indeksoida. Mutta eräänä päivänä huomaat, että hallintasivusi, sisäinen maksusivusi tai jopa verkkosivustosi testisivu näkyy Googlessa. Asiakkaat kirjoittavat yrityksesi nimen ja näkevät keskeneräisen testisivun.

Tai päinvastoin: julkaiset uuden blogikirjoituksen, odotat kaksi viikkoa, eikä se vieläkään näy Googlessa. Kysyt tekniseltä tiimiltä, ​​ja he sanovat: "Robots.txt-tiedosto estää Googlea indeksoimasta koko verkkosivustoa."

Molemmissa tilanteissa on kyse pienestä tiedostosta, johon harvat verkkopääkäyttäjät kiinnittävät huomiota: robots.txt .

Tässä artikkelissa selitetään, mitä robots.txt on, miten se toimii, milloin sitä on muokattava ja yleisiä virheitä, joita yritysten tulisi välttää – kaikki yksinkertaisella kielellä ja käytännön esimerkkien avulla.

Mikä on Robots.txt? Selitys web-ylläpitäjille.

Jos sivustokartta on kuin rakennuskaavio – joka näyttää Googlelle, mitkä huoneet ovat siellä – niin robots.txt on kuin "Rajoitettujen alueiden" kyltti – joka kertoo Googlelle, mitkä huoneet ovat kiellettyjä .

Teknisesti ilmaistuna: robots.txt on pieni tekstitiedosto, joka sijaitsee verkkosivuston juurihakemistossa (esimerkiksi: https://example.com/robots.txt ). Tämä tiedosto sisältää sääntöjä, jotka kertovat hakukoneiden roboteille – kuten Googlebotille – mitä tehdä.

• Mitkä sivut saa indeksoida?
• Mitä sivuja ei saa indeksoida?
• Missä sivustokartta sijaitsee?

Voit tarkastella minkä tahansa verkkosivuston robots.txt-tiedostoa kirjoittamalla selaimeesi: ten-mien.com/robots.txt .

💡 Tärkeää: robots.txt on vain kohtelias pyyntö , ei ehdoton kielto. Hyvämaineiset botit, kuten Googlebot, noudattavat sitä, mutta haitalliset botit (roskaposti, kaavintarobotit) saattavat jättää sen huomiotta. Jos tarvitset todellista turvallisuutta, käytä salasanaa tai palomuuria – älä luota robots.txt-tiedostoon.

Miltä robots.txt-tiedosto näyttää?

Sinun ei tarvitse kirjoittaa tätä tiedostoa tyhjästä. Mutta ymmärtääksesi sen yhdellä silmäyksellä, tässä on yksinkertainen robots.txt-tiedosto:

 User-agent: * Disallow: /admin/ Disallow: /thanh-toan/ Disallow: /staging/ Allow: / Sitemap: https://example.com/sitemap.xml Selitys jokaiselle riville: User-agent: * Disallow: /admin/ Disallow: /thanh-toan/ Disallow: /staging/ Allow: / Sitemap: https://example.com/sitemap.xml

Tässä on monimutkaisempi esimerkki – sopii yrityksen verkkosivustolle, jossa on blogi, palvelusivut ja hallinta-alue:

 # Cho phép tất cả bot crawl nội dung công khai User-agent: * Disallow: /admin/ Disallow: /wp-admin/ Disallow: /cart/ Disallow: /checkout/ Disallow: /my-account/ Disallow: /search? Disallow: /*?ref= Disallow: /*?utm_ # Cho phép Googlebot crawl CSS và JS (cần thiết để render trang) User-agent: Googlebot Allow: /wp-content/uploads/ Allow: /wp-includes/ Sitemap: https://example.com/sitemap.xml 📝 # Cho phép tất cả bot crawl nội dung công khai User-agent: * Disallow: /admin/ Disallow: /wp-admin/ Disallow: /cart/ Disallow: /checkout/ Disallow: /my-account/ Disallow: /search? Disallow: /*?ref= Disallow: /*?utm_ # Cho phép Googlebot crawl CSS và JS (cần thiết để render trang) User-agent: Googlebot Allow: /wp-content/uploads/ Allow: /wp-includes/ Sitemap: https://example.com/sitemap.xml

Huomautus kehittäjille: Hahmo Polun jokerimerkki ` / ?utm_ estää kaikki ?utm_ parametrin sisältävät URL-osoitteet. Polun lopussa olevaa ` $ -merkkiä käytetään URL-osoitteen tarkan lopun löytämiseen. Esimerkiksi: Disallow: /*.pdf$ estää kaikki PDF-tiedostot.

---

Miten Robots.txt toimii hakukoneoptimointiprosessissa?

Ymmärtääksemme robots.txt-tiedoston roolin, tarkastellaanpa prosessia, jota Google käyttää verkkosivustojen sijoittumiseen hakutuloksissa:

 Crawl → Index → Rank (Quét) (Lưu) (Xếp hạng) Robots.txt toimii ensimmäisessä vaiheessa eli indeksoinnissa. Crawl → Index → Rank (Quét) (Lưu) (Xếp hạng)

Ennen kuin Googlebot aloittaa verkkosivustosi sivujen indeksoinnin, se tarkistaa ensin robots.txt-tiedostosi . Jos URL-osoite on merkitty Disallow tilaan, Googlebot ohittaa kyseisen sivun – ei indeksoi eikä lue sen sisältöä.

 Googlebot muốn crawl https://example.com/admin/settings → Kiểm tra robots.txt → Thấy Disallow: /admin/ → Bỏ qua, không crawl Googlebot muốn crawl https://example.com/dich-vu/ → Kiểm tra robots.txt → Không bị chặn → Crawl bình thường → Index → Có thể lên kết quả tìm kiếm Robots.txt ja sivustokartta: toisiaan täydentävä pari. Googlebot muốn crawl https://example.com/admin/settings → Kiểm tra robots.txt → Thấy Disallow: /admin/ → Bỏ qua, không crawl Googlebot muốn crawl https://example.com/dich-vu/ → Kiểm tra robots.txt → Không bị chặn → Crawl bình thường → Index → Có thể lên kết quả tìm kiếm

Nämä kaksi tiedostoa eivät ole ristiriidassa keskenään – ne toimivat yhdessä. Sivukartta antaa ohjeet, kun taas robots.txt asettaa esteen. Oikein yhdistettynä voit hallita, mitä Google näkee ja jättää huomiotta verkkosivustollasi.

Mihin Robots.txt-tiedostoa käytetään? 4 yleistä skenaariota.

1. Piilota ylläpito- ja sisäiset sivut Googlelta.

Hallintasivu, sisällönhallintajärjestelmän taustasivu, testisivu, testisivu – minkään näistä ei pitäisi näkyä Googlen hakutuloksissa. Robots.txt-tiedostossa kerrotaan Googlelle: "Älä vieraile täällä."

 Disallow: /admin/ Disallow: /wp-admin/ Disallow: /staging/ 2. Vältä "indeksointibudjettisi" tuhlaamista. Disallow: /admin/ Disallow: /wp-admin/ Disallow: /staging/

Google ei indeksoi loputtomiin. Jokaisella verkkosivustolla on "indeksointibudjetti" – sivujen määrä, jonka Googlebot indeksoi kullakin käynnillä. Jos verkkosivustolla on useita merkityksettömiä sivuja (sisäisiä hakusivuja, suodatinsivuja, sivutussivuja), Googlebot saattaa olla kiireinen indeksoimassa näitä sivuja tärkeiden palvelusivujen tai blogikirjoitusten sijaan.

 Disallow: /search? Disallow: /tag/ Disallow: /page/ 💡 Indeksointibudjetti on ensisijaisen tärkeä suurille verkkosivustoille (tuhansille sivuille). Pienten yritysten verkkosivustojen ei yleensä tarvitse huolehtia liikaa, mutta robots.txt-tiedoston pitäminen siistinä on silti hyvä tapa. Disallow: /search? Disallow: /tag/ Disallow: /page/

3. Estä päällekkäinen sisältö

Jos verkkosivustolla on useita URL-osoitteita, jotka johtavat samaan sisältöön (esimerkiksi URL-osoite, jonka seurantaparametri on ?utm_source=facebook , tai tulostettava versio ?print=true ), voit estää nämä päällekkäiset URL-osoitteet:

 Disallow: /*?utm_ Disallow: /*?ref= Disallow: /*?print= 4. Sivukartan ohjeet Disallow: /*?utm_ Disallow: /*?ref= Disallow: /*?print=

Robots.txt on ensimmäinen paikka, jonka Googlebot tarkistaa verkkosivustojen osalta. Sivukartan sijoittaminen tähän auttaa Googlea löytämään sen nopeammin – vaikka et olisi vielä lähettänyt sitä Search Consoleen.

 Milloin yritysten tulisi kiinnittää huomiota robots.txt-tiedostoon? Sitemap: https://example.com/sitemap.xml

Sinun ei aina tarvitse muokata robots.txt-tiedostoa. Mutta joskus tämän tiedoston tarkistaminen on pakollista :

Kun uusi verkkosivusto julkaistaan

Tämä on kriittisin hetki. Monien verkkosivustojen indeksointi on täysin estetty, koska kehitystiimi unohti poistaa rivin Disallow: / " – rivin, jonka he lisäsivät testivaiheessa estääkseen Googlea indeksoimasta keskeneräistä versiota.

Testaa julkaisun yhteydessä:

✅ Kun Google ei indeksoi verkkosivustoa useiden viikkojen jälkeen

Jos sinulla on jo sivustokartta ja olet lähettänyt sen Search Consoleen, mutta Google ei vieläkään indeksoi sitä, robots.txt-tiedosto on ensimmäinen tarkistettava epäilyttävä tiedosto.

Piilotettavia alueita lisättäessä (jäsensivu, sisäsivu)

Jos verkkosivustollasi on tilinhallintasivuja, jäsenalueita tai sisäisiä sivuja, päivitä robots.txt-tiedostosi estämään nämä alueet.

Kun vaihdat verkkosivuston alustaa tai uudistat sen suunnittelua

Jokainen alusta (WordPress, Webflow, mukautettu koodi) luo erilaisen URL-rakenteen. Siirron aikana vanha robots.txt-tiedosto saattaa virheellisesti estää uuden sivun tai ohittaa sivuja, jotka pitäisi estää.

Kun Search Console raportoi virheen "robots.txt estää"

Google Search Consolessa on indeksointiraportti , joka näyttää, mitkä sivut robots.txt-tiedosto estää. Jos huomaat tärkeän sivun estyvän, on aika korjata tiedosto välittömästi.

5 yleistä robots.txt-virhettä ja niiden korjaaminen.

Virhe 1: Koko verkkosivuston estäminen - vakavin virhe.

Oire: Google ei indeksoi yhtään sivua. Search Console raportoi useiden sivujen olevan "robots.txt:n estämiä".

Syy: Robots.txt-tiedosto sisältää:

 User-agent: Disallow: / Nämä kaksi riviä tarkoittavat: "Estä kaikkia botteja pääsemästä mille tahansa sivulle." Näin käy usein, kun kehittäjät asettavat tämän säännön testivaiheessa ja unohtavat poistaa sen ennen julkaisua. User-agent: Disallow: /

Ratkaisu: Vaihda muotoon:

 User-agent: * Disallow: Sitemap: https://ten-mien.com/sitemap.xml Disallow: User-agent: * Disallow: Sitemap: https://ten-mien.com/sitemap.xml

(ei mitään kaksoispisteen jälkeen) = sallii kaikkien indeksoinnin.

⚠️ Tämä on yleisin virhe, jonka näemme uusilla yritysten verkkosivustoilla. Korjaamisen jälkeen Googlella voi kestää useita päiviä tai useita viikkoja indeksoida se uudelleen. Lähetä sivustokarttasi uudelleen Search Consolen kautta nopeuttaaksesi prosessia.

---

Virhe 2: CSS:n ja JavaScriptin estäminen

Oire: Verkkosivusto näkyy normaalisti selaimessa, mutta Search Consolen URL-tarkastustyökalua käytettäessä Google havaitsee, että sivulla on rikkinäinen asettelu tai se on tyhjä.

Syy: Robots.txt estää CSS:ää ja JS:ää sisältävän kansion:

 Disallow: /wp-content/ Disallow: /wp-includes/ Googlen on luettava CSS:ää ja JS:ää ymmärtääkseen, miltä sivu näyttää (ns. renderöinti). Jos tämä estetään, Google ei voi renderöidä sivua → se ei ymmärrä sisältöä → vaikuttaa sijoitukseen. Disallow: /wp-content/ Disallow: /wp-includes/

Kuinka korjata se:

 User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Allow: /wp-content/ Allow: /wp-includes/ 📝 User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Allow: /wp-content/ Allow: /wp-includes/

Huomautus kehittäjille: Google on vuodesta 2014 lähtien selkeästi suositellut CSS:n, JS:n ja kuvien estämisen robots.txt-tiedostossa. Googlebot tarvitsee näitä resursseja sivujen oikean hahmontamiseen. Tarkista Search Consolen URL-tarkastustyökalulla, miten Google hahmontaa sivusi.

Virhe 3: Tärkeän sivun estäminen vahingossa.

Oire: Palvelusivut, tuotesivut tai blogikirjoitukset eivät näy Googlen hakutuloksissa – vaikka ne on lueteltu sivustokartassa.

Syy: Robots.txt-tiedostossa oleva sääntö on liian laaja. Esimerkiksi:

 Tämä linja estää paitsi Disallow: /dich-vu

/dich-vu/ , mutta myös /dich-vu-thiet-ke-web/ , /dich-vu-seo/ ja kaikki URL-osoitteet, jotka alkavat /dich-vu -merkillä.

Ratkaisu: Lisää polun loppuun vinoviiva / estääksesi tarkan hakemiston:

Estä: /dich-vu-noi-bo/

Tai käytä Allow suojataksesi tarvittavat sivut:

 Disallow: /dich-vu-noi-bo/ Allow: /dich-vu/ Allow: /dich-vu-thiet-ke-web/ 📝 Disallow: /dich-vu-noi-bo/ Allow: /dich-vu/ Allow: /dich-vu-thiet-ke-web/

Huomautus kehittäjille: Allow ja Disallow sääntöjen järjestyksellä on vaikutusta. Googlebot käyttää tarkinta sääntöä (tarkinta polkua). Jos ne ovat samanpituisia, Allow on etusijalla Disallow sääntöön nähden. Testaa aina Robots Testing Toolilla Search Consolessa ennen käyttöönottoa.

Virhe 4: Ei robots.txt-tiedostoa

Oire: Kirjoittamalla ten-mien.com/robots.txt saat 404-virheen.

Syy: Verkkosivusto on rakennettu manuaalisesti, eikä kehittäjä ole luonut tätä tiedostoa. Tai tiedosto on vahingossa poistettu käyttöönoton aikana.

Vaikutus: Ei yhtä vakava kuin virhe 1 – ilman robots.txt-tiedostoa Google indeksoi kaiken oletuksena. Mutta tämä tarkoittaa:

• Google indeksoi hallintasivun, testisivun ja sisäiset sivut.
• Sinulla ei ole tapaa ohjata käyttäjiä sivustokarttaan robots.txt-tiedoston kautta.
• Perussäätöjen puute

Ratkaisu: Luo robots.txt -tiedosto juurihakemistoon. Minimisisältö:

 User-agent: * Disallow: /admin/ Disallow: /search? Sitemap: https://ten-mien.com/sitemap.xml --- User-agent: * Disallow: /admin/ Disallow: /search? Sitemap: https://ten-mien.com/sitemap.xml

Virhe 5: Sivun piilottaminen Googlelta robots.txt-tiedoston avulla (väärin ymmärretty tarkoitus)

Oire: Estät sivun käyttämällä Disallow , mutta sivu näkyy silti Googlessa – jopa ilman sisältökatkelmia.

Syy: Robots.txt estää indeksoinnin , mutta ei indeksointia . Jos sivu on jo indeksoitu tai siihen viittaa linkkejä muilta verkkosivustoilta, Google saattaa pitää URL-osoitteen hakutuloksissa – se ei vain näytä sisältöä.

Oikea tapa korjata se:

⚠️ Tämä on yleisin väärinkäsitys: Jos estät indeksoinnin (robots.txt) ja asetat myös noindex (HTML), Google ei näe noindex-tagia, koska se ei indeksoi kyseistä sivua – ja sivu saattaa silti olla indeksoitu. Ratkaisu: käytä noindex HTML:ssä ja poista Disallow sääntö kyseiseltä sivulta robots.txt-tiedostosta.

Robots.txt-mallipohja yrityssivustoille

Alla on esimerkki robots.txt-tiedostosta, joka sopii useimmille pk-yritysten verkkosivustoille:

 # ============================================= # Robots.txt cho website doanh nghiệp # Cập nhật: 2026-04-20 # ============================================= # Áp dụng cho tất cả bot User-agent: * # Chặn khu vực quản trị và nội bộ Disallow: /admin/ Disallow: /wp-admin/ Disallow: /dashboard/ Disallow: /staging/ # Chặn trang tìm kiếm nội bộ (tránh lãng phí crawl budget) Disallow: /search? Disallow: /*?s= # Chặn URL có tham số tracking (tránh nội dung trùng lặp) Disallow: /*?utm_ Disallow: /*?ref= Disallow: /*?fbclid= # Chặn trang giỏ hàng / thanh toán (nếu có) Disallow: /cart/ Disallow: /checkout/ Disallow: /my-account/ # Cho phép CSS, JS, hình ảnh (Google cần để render trang) Allow: /wp-content/uploads/ Allow: /wp-content/themes/ Allow: /wp-includes/ # Chỉ đường đến sitemap Sitemap: https://ten-mien.com/sitemap.xml 📝 # ============================================= # Robots.txt cho website doanh nghiệp # Cập nhật: 2026-04-20 # ============================================= # Áp dụng cho tất cả bot User-agent: * # Chặn khu vực quản trị và nội bộ Disallow: /admin/ Disallow: /wp-admin/ Disallow: /dashboard/ Disallow: /staging/ # Chặn trang tìm kiếm nội bộ (tránh lãng phí crawl budget) Disallow: /search? Disallow: /*?s= # Chặn URL có tham số tracking (tránh nội dung trùng lặp) Disallow: /*?utm_ Disallow: /*?ref= Disallow: /*?fbclid= # Chặn trang giỏ hàng / thanh toán (nếu có) Disallow: /cart/ Disallow: /checkout/ Disallow: /my-account/ # Cho phép CSS, JS, hình ảnh (Google cần để render trang) Allow: /wp-content/uploads/ Allow: /wp-content/themes/ Allow: /wp-includes/ # Chỉ đường đến sitemap Sitemap: https://ten-mien.com/sitemap.xml

Huomautus kehittäjille: robots.txt-tiedoston on sijaittava juuriverkkotunnuksessa — https://example.com/robots.txt . Ei /blog/robots.txt tai missään muussa alihakemistossa. Jokaisella aliverkkotunnuksella on oltava oma robots.txt-tiedostonsa (esimerkiksi blog.example.com/robots.txt on erillinen tiedosto example.com/robots.txt ).

Kuinka tarkistaa verkkosivustosi robots.txt-tiedosto

Tapa 1: Tarkista suoraan selaimessa.

Kirjoita osoiteriville https://ten-mien-cua-ban.com/robots.txt . Näet tiedoston sisällön tekstimuodossa. Jos näet 404-virheen, se tarkoittaa, että verkkosivustolla ei ole robots.txt-tiedostoa.

Tapa 2: Google Search Consolen käyttö

1. Kirjaudu Google Search Consoleen
2. Siirry kohtaan Asetukset → Indeksointi → robots.txt
3. Tarkista robots.txt-tiedosto, jota Google lukee.
4. Tarkista, onko kyseinen URL-osoite estetty.

Tapa 3: Tarkista indeksointiraportista

Etsi Search Consolesta → Sivut (tai Indeksointi ) → merkintä "robots.txt-tiedoston estämä" . Jos tässä luettelossa on tärkeitä sivuja, sinun on muokattava robots.txt-tiedostoa välittömästi.

💡 Sinun tulisi tarkistaa robots.txt-tiedostosi vähintään neljännesvuosittain tai aina, kun verkkosivustollesi tehdään merkittäviä muutoksia (sivujen lisääminen, rakenteen muuttaminen, siirtyminen toiselle alustalle).

Yhteenveto: Mitä Robots.txt-tiedostossa tulisi ja ei tulisi estää?

---

Usein kysytyt kysymykset robots.txt-tiedostosta

Mitä eroa on Robots.txt:llä ja sivustokartalla?

Sivukartta sanoo: "Haluan Googlen tietävän tämän sivun." Robots.txt sanoo: "En halua Googlen indeksoivan tätä sivua." Nämä kaksi tiedostoa täydentävät toisiaan – sivustokartta antaa ohjeet, robots.txt asettaa esteen.

Voiko Google indeksoida verkkosivuston ilman robots.txt-tiedostoa?

Kyllä. Ilman robots.txt-tiedostoa Google indeksoi oletuksena kaikki sivut – myös ne, joita et halua. Siksi sinulla pitäisi olla tämä tiedosto.

Käytän WordPressiä, missä robots.txt-tiedosto sijaitsee?

WordPress luo automaattisesti virtuaalisen robots.txt-tiedoston. Jos käytät SEO-laajennusta, kuten Yoastia tai Rank Mathia, voit muokata robots.txt-tiedostoa suoraan laajennuksen sisällä ilman palvelimelle kirjautumista.

Vaikuttaako robots.txt-tiedosto verkkosivuston nopeuteen?

Ei. Tämä tiedosto on kooltaan vain muutaman kilotavun. Se ei vaikuta sivun latausnopeuteen.

Estin sivuston robots.txt-tiedostolla, joten miksi se silti sijoittuu Googlessa?

Koska robots.txt estää vain indeksoinnin, ei indeksointia. Jos haluat sivun katoavan kokonaan Googlesta, käytä tägiä. HTML-muodossa – äläkä estä kyseistä sivua robots.txt-tiedostossa (jotta Google voi lukea noindex-tagin).

Kuinka kauan Googlen päivityksen tekeminen robots.txt-tiedoston muokkaamisen jälkeen kestää?

Google tarkistaa robots.txt-tiedostosi yleensä 24–48 tunnin kuluessa. Voit pyytää Googlea tarkistamaan sen aikaisemmin valitsemalla Search Console → Asetukset → Indeksointi.

Päätellä

Robots.txt on pieni tiedosto – yleensä vain muutaman rivin mittainen – mutta se vaikuttaa suoraan siihen, löytääkö Google verkkosivustosi vai ei.

Muistettavia asioita:

1. Robots.txt on "Rajoitetut alueet" -merkki : se kertoo Googlelle, mitä sivuja ei pitäisi indeksoida.
2. Tarkista heti, kun verkkosivusto on julkaistu : virhe, joka estää koko verkkosivuston toiminnan, on yleisin ja vakavin virhe.
3. Älä käytä robots.txt-tiedostoa sivun piilottamiseen Googlelta : se estää indeksoinnin, mutta ei indeksointia.
4. Salli aina CSS ja JS : Googlen on renderöitävä sivu ymmärtääkseen sisällön.
5. Yhdistä tämä sivustokarttaan ja Search Consoleen saadaksesi täyden hallinnan siitä, miten Google indeksoi verkkosivustosi.

Tarkista verkkosivustosi alusta.

Robots.txt on vain yksi monista hakukoneoptimointiin vaikuttavista teknisistä tekijöistä. Jos mietit, onko verkkosivustoni määritetty oikein, vastaus piilee käyttämässäsi alustassa.

GTG CRM auttaa sinua luomaan verkkosivuston, jossa on vakiomuotoinen robots.txt-tiedosto, automaattinen sivustokartta ja Googlea varten valmis tekninen rakenne – sinun ei tarvitse huolehtia jokaisen tiedoston tai koodirivin muokkaamisesta.