Þú hefur sitemap, hefur sent það til Google, vefsíðan þín er farin að vera indexuð. En einn daginn uppgötvarðu að stjórnandaborðið (admin), innkaupakerrusíðan, eða staging-síðan á vefsíðunni þinni birtist líka á Google. Viðskiptavinir slá inn heiti fyrirtækisins þíns – og sjá jafnvel ólokið prófunarsíðu.
Eða öfugt: þú birtir nýja bloggfærslu, bíður í tvær vikur og sérð hana enn ekki á Google. Þegar þú spyrð tæknisvið þeirra, fá þeir svarið: "Robots.txt skráin er að loka á Google frá því að skanna alla vefsíðuna."
Báðar aðstæður tengjast lítilli skrá sem fáir vefstjórar taka eftir: robots.txt.
Þessi grein mun útskýra hvað robots.txt er, hvernig það virkar, hvenær þú þarft að breyta því, og algeng mistök sem fyrirtæki þurfa að forðast – allt á einföldu máli, með raunverulegum dæmum.
Hvað er Robots.txt? Útskýring fyrir vefstjóra
Ef sitemap er eins og kort af húsi – sem segir Google hvaða herbergi eru til, þá er robots.txt eins og skilti með textanum „Bannað aðgangssvæði“ – sem segir Google hvaða herbergi það má ekki fara inn í.
Tæknilega séð: robots.txt er lítil textaskrá sem er staðsett í rótarskránni á vefsíðunni (t.d.: https://example.com/robots.txt). Þessi skrá inniheldur reglur sem segja leitarvélabotum – eins og Googlebot – hvað:
- Sérnar fá leyfi til að skanna
- Sérnar fá ekki leyfi til að skanna
- Sitemap er staðsett
Þú getur skoðað robots.txt á hvaða vefsíðu sem er með því að slá inn: nafn-a-svidinu.com/robots.txt í vafranum.
💡 Mikilvægt: robots.txt er aðeins hæfileg beiðni, ekki algjört bann. Gottvildar botar eins og Googlebot munu hlýða, en vondir botar (spam, scraper) gætu hunsað það. Ef þú þarft raunverulegt öryggi, notaðu lykilorð eða eldvegg – ekki treysta á robots.txt.
Hvernig lítur robots.txt skráin út?
Þú þarft ekki að skrifa þessa skrá frá grunni. En til að skilja hana þegar þú sérð hana, hér er einföld robots.txt skrá:
User-agent: *
Disallow: /admin/
Disallow: /thanh-toan/
Disallow: /staging/
Allow: /
Sitemap: https://example.com/sitemap.xmlÚtskýring á hverri línu:
| Lína | Merking |
|---|---|
User-agent: * | Á við um alla bota (Google, Bing, o.s.frv.) |
Disallow: /admin/ | Bannað að botar fari inn í /admin/ skránna |
Disallow: /thanh-toan/ | Bannað að botar fari inn á greiðslusíðuna |
Disallow: /staging/ | Bannað að botar fari inn á staging útgáfuna |
Allow: / | Leyfa botum að skanna allan afganginn |
Sitemap: https://... | Segir botum hvar sitemap er staðsett |
Hér er flóknara dæmi – hentugt fyrir fyrirtækisvef með blogg, þjónustuleit og stjórnendasvæði:
# Leyfa öllum botum að skanna opinbert efni
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_
# Leyfa Googlebot að skanna CSS og JS (nauðsynlegt til að birta síðuna)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/
Sitemap: https://example.com/sitemap.xml📝 Athugið fyrir forritara: Stjarnan `` í slóðinni er wildcard – `/?utm_` þýðir að loka á öll URL sem innihalda `?utm_` færibreytu. Stjarnan `$` í lok slóðarinnar er notuð til að passa nákvæmlega við lok URL. Til dæmis: `Disallow: /*.pdf$` mun loka á allar PDF skrár.
Hvernig virkar Robots.txt í SEO ferlinu?
Til að skilja staðsetningu robots.txt, lítum aftur á ferlið sem Google notar til að setja vef á leitarniðurstöður:
Crawl → Index → Rank
(Skanna) (Geyma) (Raða)Robots.txt virkar á fyrsta stigi - viðvörun.
Áður en Googlebot byrjar að skanna neina síðu á vefsíðunni þinni, mun það athuga robots.txt fyrst. Ef vefslóð er skráð í Disallow, mun Googlebot hunsa síðuna - ekki skanna, ekki lesa innihald.
Googlebot vill skanna https://example.com/admin/settings
→ Athugar robots.txt
→ Sér Disallow: /admin/
→ Sleppir, skannar ekki
Googlebot vill skanna https://example.com/dich-vu/
→ Athugar robots.txt
→ Ekki lokað
→ Skannar eðlilega → Vísar → Gæti birst í leitarniðurstöðumRobots.txt og sitemap: góð samsetning
| Skrá | Hlutverk |
|---|---|
| Sitemap | "Þetta er listi yfir síður sem ég vil að Google viti af" |
| Robots.txt | "Þetta eru síður sem ég vil ekki að Google skanni" |
Þessar tvær skrár stangast ekki á - þær vinna saman. Sitemap sýnir leiðina, robots.txt setur hindranir. Með réttri samsetningu geturðu stjórnað því hvað Google sér og hvað það hunsar á vefsíðunni þinni.
Til hvers er robots.txt notað? 4 algeng tilfelli
1. Fela stjórnborð og innri síður frá Google
Stjórnborðssíður, CMS backend síður, staging síður, prófunarsíður - allt þetta ætti ekki að birtast á Google. Robots.txt hjálpar þér að segja Google: "Ekki fara hingað."
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/2. Forðast sóun á "crawl budget"
Google skannar ekki endalaust. Hver vefsíða hefur "crawl budget" - fjölda síðna sem Googlebot mun skanna í hverri heimsókn. Ef vefsíðan hefur margar ómikilvægar síður (innri leitarsíður, síur, síðunúmer), gæti Googlebot eytt tíma sínum í að skanna þessar síður í staðinn fyrir mikilvægar þjónustu- eða bloggsíður.
Disallow: /search?
Disallow: /tag/
Disallow: /page/💡 Crawl budget er aðallega mikilvægt fyrir stórar vefsíður (þúsundir síðna). Lítil fyrirtæki þurfa oft ekki að hafa miklar áhyggjur, en það er alltaf góð venja að halda robots.txt snyrtilegu.
3. Loka á tvítekinn efni
Ef vefsíðan hefur margar vefslóðir sem vísa á sama efni (til dæmis, vefslóðir með rakningarviðföngum ?utm_source=facebook, eða prentútgáfu ?print=true), getur þú lokað á þessar tvítekna vefslóðir:
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=4. Vísa á sitemap
Robots.txt er fyrsti staðurinn sem Googlebot athugar þegar það kemur á vefsíðu. Með því að setja vefslóð sitemapsins þar hjálpar það Google að finna sitemapið hraðar - jafnvel þótt þú hafir ekki sent það inn í gegnum Search Console.
Sitemap: https://example.com/sitemap.xmlHvenær þurfa fyrirtæki að huga að robots.txt?
Þú þarft ekki alltaf að breyta robots.txt. En það eru til tímar þegar það er nauðsynlegt að athuga þessa skrá:
Þegar ný vefsíða er sett í notkun (go-live)
Þetta er mikilvægasti tíminn. Margar vefsíður eru algjörlega lokaðar fyrir skönnun vegna þess að þróunaraðilar gleyma að fjarlægja línuna Disallow: / - línuna sem þeir settu inn á meðan staging til að Google myndi ekki mynda ófullgerðu útgáfuna.
Athugaðu við go-live:
| Flokkur | Hvernig á að athuga |
|---|---|
| Robots.txt skrá er til | Opnaðu https://domain-name.com/robots.txt í vafranum |
| Ekki er lokað á alla vefsíðuna | Gakktu úr skugga um að engin lína með Disallow: / sé til staðar |
| Sitemap er tilgreint | Gakktu úr skugga um að það sé lína með Sitemap: https://domain-name.com/sitemap.xml |
| Mikilvægar síður eru ekki lokaðar | Athugaðu að þjónustu-, blogg-, og tengiliðasíður séu ekki innan Disallow |
✅ Þegar vefsíða kemur ekki inn í Google eftir margar vikur
Ef þú ert með sitemap, hefur sent það í gegnum Search Console, en Google indeksar það samt ekki - robots.txt er fyrsti grunaði til að athuga.
Þegar þú bætir við svæðum sem þarf að fela (meðlimasíður, innri síður)
Ef vefsvæðið bætir við síðu fyrir reikningsstjórnun, meðlimasvæði eða innri síður - uppfærðu robots.txt til að loka fyrir þessi svæði.
Þegar skipt er um vefpall eða endurhannað
Hver pallur (WordPress, Webflow, sérsniðinn kóði) býr til mismunandi URL uppbyggingu. Við flutning getur gamla robots.txt skrárin lokað fyrir nýjar síður ranglega eða gleymt síðum sem þarf að loka fyrir.
Þegar Search Console tilkynnir villu "Blocked by robots.txt"
Google Search Console hefur Indexing skýrslu sem sýnir hvaða síður eru lokaðar af robots.txt. Ef þú sérð mikilvæga síðu lokaða - þá er kominn tími til að breyta skránni strax.
5 algeng mistök í robots.txt og hvernig á að laga þau
Mistak 1: Lokað fyrir allt vefsvæðið - alvarlegasta mistakið
Einkenni: Engar síður eru indexaðar af Google. Search Console tilkynnir fjölda síðna sem "Blocked by robots.txt".
Orsök: robots.txt skráin inniheldur:
User-agent:
Disallow: /Þessar tvær línur þýða: "Banna öllum botnum aðgang að hvaða síðu sem er." Gerist oft þegar þróunarverkfræðingar setja þessa reglu á meðan á prufu stendur og gleyma að fjarlægja hana þegar vefurinn er settur í loftið.
Hvernig á að laga: Breyttu í:
User-agent: *
Disallow:
Sitemap: https://ten-mien.com/sitemap.xmlDisallow: (ekkert á eftir tvípunktinum) = leyfa að skripla allt.
⚠️ Þetta er mistak númer 1 sem við sjáum á nýjum fyrirtækisvefjum. Eftir að hafa lagað það getur Google tekið nokkra daga til nokkrar vikur að skripla aftur. Sendu sitemap aftur í gegnum Search Console til að flýta ferlinu.
Mistak 2: Lokað fyrir CSS og JavaScript
Einkenni: Vefsvæðið birtist eðlilega í vafranum, en þegar þú notar "URL Inspection" tólið í Search Console, sér Google að síðan er með brotna skipulag eða tómt innihald.
Orsök: Robots.txt lokar fyrir möppur sem innihalda CSS og JS:
Disallow: /wp-content/
Disallow: /wp-includes/Google þarf að lesa CSS og JS til að skilja hvernig síðan lítur út (kallað "rendering"). Ef því er lokað, getur Google ekki birt síðuna → skilur ekki innihaldið → hefur áhrif á röðun.
Hvernig á að laga:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/📝 Athugið fyrir þróunarverkfræðinga: Frá 2014 hefur Google ráðlagt skýrt: ekki loka fyrir CSS, JS og myndir í robots.txt. Googlebot þarf þessa auðlindir til að birta síðuna á réttan hátt. Notaðu URL Inspection tólið í Search Console til að athuga hvernig Google birtir síðuna þína.
Mistak 3: Lokað fyrir mikilvæga síðu ranglega
Einkenni: Þjónustu-, vöru- eða bloggsíður birtast ekki á Google - þrátt fyrir að sitemap innihaldi þær.
Orsök: Regla í robots.txt er of víðtæk. Til dæmis:
Disallow: /dich-vuÞessi lína lokar ekki aðeins fyrir /dich-vu/ heldur einnig /dich-vu-thiet-ke-web/, /dich-vu-seo/, og hvaða URL sem byrjar á /dich-vu.
Hvernig á að laga: Bættu við skástriki / í lok slóðarinnar til að loka nákvæmlega fyrir möppuna:
Disallow: /dich-vu-noi-bo/
Eða notaðu Allow til að vernda nauðsynlegar síður:
Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/📝 Athugið fyrir þróunarverkfræðinga: Röð `Allow` og `Disallow` skiptir máli. Googlebot notar sérsniðnustu regluna (most specific path). Ef lengdin er sú sama, hefur `Allow` forgang fram yfir `Disallow`. Prófaðu alltaf með Robots Testing Tool í Search Console áður en þú setur í loftið.
Mistak 4: Engin robots.txt skrá
Fremand: Sláðu inn ten-mien.com/robots.txt → færðu villu 404.
Orsök: Vefsíðan er handgerð og verktaki bjó ekki til þessa skrá. Eða skránni var eytt fyrir mistök við dreifingu.
Áhrif: Ekki eins alvarlegt og villa 1 - ef það er engin robots.txt, mun Google sjálfkrafa skríða yfir allt. En þetta þýðir:
- Google mun skríða yfir allar stjórnborðssíður, prófunarsíður og innri síður
- Þú hefur enga leið til að vísa á sitemap í gegnum robots.txt
- Skortur á grunnstýringu
Lausn: Búðu til skrána robots.txt í rótarhelti. Lágmarksinnihald:
User-agent: *
Disallow: /admin/
Disallow: /search?
Sitemap: https://ten-mien.com/sitemap.xmlVilla 5: Notkun robots.txt til að fela síðu frá Google (misskilningur á tilgangi)
Fremand: Þú bannar síðu með Disallow, en síðan birtist samt á Google - án innihalds sýnishorns.
Orsök: Robots.txt bannar skrið, ekki vísitölu. Ef síðan hefur þegar verið vísitala áður, eða hefur bakhlekk frá annarri vefsíðu, getur Google haldið URL í leitarniðurstöðum - aðeins án þess að sýna innihaldið.
Röng lausn:
| Markmið | Notaðu hvað |
|---|---|
| Vilt ekki að Google skriði (skanni) | Disallow í robots.txt |
| Vilt ekki að Google vísi í (birti) | Merkið |
| Vilt hvorki annað | Notaðu noindex í HTML (og ekki banna í robots.txt) |
⚠️ Þetta er það sem oftast er misskilið: Ef þú bannar bæði skrið (robots.txt) og setur `noindex` (HTML), mun Google ekki sjá noindex merkið vegna þess að síðan er ekki skriðin — og síðan gæti samt verið vísitala. Lausn: notaðu `noindex` í HTML og fjarlægðu `Disallow` reglu fyrir þá síðu í robots.txt.
Dæmi um robots.txt fyrir fyrirtækisvef
Hér er dæmi um robots.txt skrá sem hentar flestum lítilla og meðalstórra fyrirtækisvefja:
# =============================================
# Robots.txt fyrir fyrirtækisvef
# Uppfært: 2026-04-20
# =============================================
# Gildir fyrir alla botta
User-agent: *
# Banna stjórnborðssvæði og innri svæði
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/
# Banna innri leitarsíður (til að forðast að sóa skriðafjármagni)
Disallow: /search?
Disallow: /*?s=
# Banna URL með rekjasamskiptum (til að forðast tvíeflt innihald)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=
# Banna körfu / greiðslusíður (ef til staðar)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
# Leyfa CSS, JS, myndir (Google þarf til að birta síðu)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/
# Vísa á sitemap
Sitemap: https://ten-mien.com/sitemap.xml📝 Athugið fyrir verktaka: Robots.txt skráin verður að vera í rótarhelti léninu — `https://example.com/robots.txt`. Ekki í `/blog/robots.txt` eða annarri undirmöppu. Hvert undirlén þarf sína eigin robots.txt (til dæmis: `blog.example.com/robots.txt` aðskilið frá `example.com/robots.txt`).
Hvernig á að athuga robots.txt á vefsíðunni þinni
Aðferð 1: Athugaðu beint í vafranum
Sláðu inn https://ten-mien-cua-ban.com/robots.txt í heimilisfangastikuna. Þú munt sjá innihald skráarinnar á textasniði. Ef þú sérð villu 404 — þá hefur vefsíðan ekki robots.txt ennþá.
Aðferð 2: Notaðu Google Search Console
- Skráðu þig inn á Google Search Console
- Farðu í Settings → Crawling → robots.txt
- Skoðaðu robots.txt skrána sem Google er að lesa
- Athugaðu hvort tiltekin slóð sé bönnuð
Aðferð 3: Athugaðu í Indexing skýrslunni
Í Search Console → Pages (eða Indexing) → Finndu hlutann "Blocked by robots.txt". Ef mikilvæg síða er á þessum lista þarftu að laga robots.txt strax.
💡 Það er ráðlagt að athuga robots.txt allavega ársfjórðungslega eða alltaf þegar vefsvæðið breytist mikið (bæta við síðum, breyta uppbyggingu, flytja á milli kerfa).
Yfirlitstafla: Hvað á að banna og hvað ekki í robots.txt
| ✅ Á AÐ banna | ❌ Á EKKI AÐ banna |
|---|---|
Stjórnunarsíður (/admin/, /wp-admin/) | Forsíða, þjónustusíður, tengiliðasíður |
| Staging / prófunarsíður | Bloggfærslur, greinar |
Innri leitarsíður (/search?) | CSS og JavaScript skrár |
Slóðir með rakningafylgiskjölum (?utm_, ?fbclid=) | Myndir (Google Images getur líka komið með umferð) |
| Vörulisti, greiðslusíður, persónulegir reikningar | Sitemap |
| Síður með afritað efni (síur, flokkun, aðskilnaður í síður) | FAQ, rannsóknarprófið síður |
Algengar spurningar um robots.txt
Hver er munurinn á robots.txt og sitemap?
Sitemap segir: "Hér er síðan sem ég vil að Google viti af." Robots.txt segir: "Hér er síðan sem ég vil ekki að Google skanni." Þessar tvær skrár styðja hvor aðra - sitemap sýnir veginn inn, robots.txt setur hindranir.
Ef ég er ekki með robots.txt, getur Google þá skannað vefsvæðið mitt?
Já. Ef þú ert ekki með robots.txt, skannar Google sjálfkrafa allar síður - jafnvel þær sem þú vilt ekki. Þess vegna er gott að hafa þessa skrá.
Ég nota WordPress, hvar er robots.txt skráin?
WordPress býr til sýndar (virtual) robots.txt skrá sjálfkrafa. Ef þú notar SEO viðbætur eins og Yoast eða Rank Math, geturðu breytt robots.txt beint í viðbótinni án þess að þurfa aðgang að netþjóninum.
Hefur robots.txt áhrif á hraða vefsvæðisins?
Nei. Þessi skrá er aðeins nokkur KB að stærð. Hún hefur engin áhrif á hleðsluhraða síðunnar.
Ég hef bannað síðu í robots.txt, af hverju birtist hún samt á Google?
Vegna þess að robots.txt bannar aðeins skönnun, ekki birtingu. Ef þú vilt að síðan hverfi algjörlega af Google, notaðu tagg í HTML - og ekki banna þessa síðu í robots.txt (til að Google geti lesið noindex taggið).
Hversu langan tíma tekur það fyrir Google að uppfæra eftir að ég hef breytt robots.txt?
Google athugar robots.txt aftur innan við 24-48 klukkustundir. Þú getur farið í Search Console → Settings → Crawling til að biðja Google um að athuga hana fyrr.
Niðurstaða
Robots.txt er lítil skrá - oft aðeins nokkrar línur - en hún hefur bein áhrif á hvort Google finnur vefsvæðið þitt eða ekki.
Hlutir til að muna:
- Robots.txt er skilti um "Takmarkað svæði": það segir Google hvaða síður ekki má skanna
- Athugaðu strax þegar vefsvæðið er sett í loftið: að banna allt vefsvæðið er algeng og alvarlegasta villa
- Ekki nota robots.txt til að fela síður fyrir Google: það bannar skönnun, ekki birtingu
- Leyfðu alltaf CSS og JS: Google þarf að birta síðuna til að skilja innihaldið
- Notaðu ásamt sitemap og Search Console: til að hafa fulla stjórn á því hvernig Google skannar og birtir vefsvæðið þitt
Athugaðu grunn vefsvæðisins þíns
Robots.txt er aðeins einn af mörgum tæknilegum þáttum sem hafa áhrif á SEO. Ef þú ert að spá: „Er vefsíðan mín sett upp rétt?“ – þá liggur svarið í því kerfi sem þú notar.
GTG CRM hjálpar þér að fá vefsíðu með réttu robots.txt, sjálfvirkum sitemap og tæknilegri uppbyggingu sem er tilbúin fyrir Google – þú þarft ekki að hafa áhyggjur af því að breyta hverri skrá eða hverri línu af kóða.
Gerðu það sem þú hefur nýlega lesið að veruleika — gerðu það strax með GTG CRM, ókeypis.
Notaðu strax
