Hvað er Robots.txt og hvenær ættu fyrirtæki að hafa áhuga á þessari skrá?

Hvað er robots.txt og hvenær ætti fyrirtæki að huga að þessari skrá?

Þú ert með sitemap, hefur sent það til Google, og vefsíðan þín er farin að birtast í leitarniðurstöðum. En einn daginn kemstu að því að stjórnandaborð (admin), innri greiðslusíður eða staging-síður vefsíðunnar þinnar birtast einnig á Google. Viðskiptavinir slá inn heiti fyrirtækisins þíns – og sjá óunnið prófunarsíðu.

Eða öfugt: þú birtir nýja bloggfærslu, bíður í tvær vikur og hún birtist enn ekki á Google. Þegar þú spyrð tæknifólk færðu svarið: „robots.txt skráin hindrar Google í að skanna alla vefsíðuna.“

Báðar aðstæður tengjast einni lítilli skrá sem fáir vefstjórar taka eftir: robots.txt.

Þessi grein mun útskýra hvað robots.txt er, hvernig hún virkar, hvenær þú þarft að breyta henni, og algeng mistök sem fyrirtæki þurfa að forðast – allt með einföldu máli og raunverulegum dæmum.

Hvað er robots.txt? Útskýrt fyrir vefstjóra

Ef sitemap er kort af byggingu – sem segir Google hvaða herbergi eru til, þá er robots.txt skiltaflokkur „Takmarkað svæði“ – sem segir Google hvaða herbergi ekki má fara inn í.

Tæknilega séð: robots.txt er lítil textaskrá sem staðsett er í rótarmappunni á vefsíðunni (til dæmis: https://example.com/robots.txt). Þessi skrá inniheldur reglur sem segja leitarvélarkúnum – eins og Googlebot – hvað:

• Má skanna (crawl)
• Ekki má skanna
• Hvar sitemap er staðsett

Þú getur skoðað robots.txt skrána á hvaða vefsíðu sem er með því að slá inn: nafn-domen.com/robots.txt í vafranum.

💡 Mikilvægt: robots.txt er aðeins koftunartilboð, ekki algert bann. Traustar kúar eins og Googlebot munu fara eftir henni, en vondar kúar (spam, scraper) geta hunsað hana. Ef þú þarft raunverulega öryggisráðstafanir, notaðu lykilorð eða eldvegg – ekki treysta á robots.txt.

Hvernig lítur robots.txt skrá út?

Þú þarft ekki að skrifa þessa skrá frá grunni. En til að skilja hana þegar þú sérð hana, hér er einföld robots.txt skrá:

User-agent: *
Disallow: /admin/
Disallow: /thanh-toan/
Disallow: /staging/
Allow: /

Sitemap: https://example.com/sitemap.xml

Útskýring á hverri línu:

Lína	Merking
User-agent: *	Á við um allar kúar (Google, Bing, o.s.frv.)
Disallow: /admin/	Bannar kúm aðgang að /admin/ möppunni
Disallow: /thanh-toan/	Bannar kúm aðgang að greiðslusíðu
Disallow: /staging/	Bannar kúm aðgang að staging útgáfu
Allow: /	Leyfir kúm að skanna restina af vefnum
Sitemap: https://...	Segir kúm hvar sitemap er staðsett

Hér er flóknara dæmi – hentugt fyrir vefsíðu fyrirtækis með blogg, þjónustusíður og stjórnunarsvæði:

# Leyfa öllum kúm að skanna opinbert efni
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_

# Leyfa Googlebot að skanna CSS og JS (nauðsynlegt til að birta síðu)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/

Sitemap: https://example.com/sitemap.xml

📝 Athugasemd fyrir forritara: Táknmyndin í slóðinni er villikort — /?utm_ þýðir að allt sem inniheldur breytuna ?utm_ er bannað. Táknmyndin $ í lok slóðarinnar er notuð til að passa nákvæmlega við lok vefslóðar. Til dæmis: Disallow: /*.pdf$ mun banna allar PDF skrár.

---

Hvernig virkar robots.txt í SEO ferlinu?

Til að skilja hvar robots.txt er staðsett, skoðum við ferlið sem Google notar til að birta vefsíður í leitarniðurstöðum:

Crawl → Index → Rank
(Vafra)   (Skrá)   (Raða)

Robots.txt virkar í fyrsta skrefinu - Crawl.

Áður en Googlebot byrjar að vafra um síður á vefsíðunni þinni, leitar það fyrst að robots.txt. Ef slóð er í Disallow mun Googlebot hunsa síðuna - ekki vafra, ekki lesa efnið.

Googlebot vill vafra um https://example.com/admin/settings
→ Athugar robots.txt
→ Finnur Disallow: /admin/
→ Hunsar, vafrar ekki

Googlebot vill vafra um https://example.com/dich-vu/
→ Athugar robots.txt
→ Er ekki lokað
→ Vefur eðlilega → Skráir → Gæti birst í leitarniðurstöðum

Robots.txt og sitemap: Tvö gagnleg tól

Skrá	Hlutverk
Sitemap	„Þetta er listi yfir síður sem ég vil að Google viti af“
Robots.txt	„Þetta eru síður sem ég vil ekki að Google vafri um“

Þessar tvær skrár eru ekki í mótsögn – þær vinna saman. Sitemap sýnir veginn, robots.txt setur hindranir. Með réttri samsetningu geturðu stjórnað því hvað Google sér og hvað það hunsar á vefsíðunni þinni.

Til hvers er robots.txt? 4 algeng tilfelli

1. Fela stjórnborð og innri síður fyrir Google

Stjórnborðssíður, CMS backend síður, staging síður, prófunarsíður – allar ættu ekki að birtast í Google. Robots.txt hjálpar þér að segja Google: „Ekki fara þangað.“

Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/

2. Forðast sóun á „crawl budget“

Google vafrar ekki endalaust. Hver vefsíða hefur ákveðið „crawl budget“ – fjölda síðna sem Googlebot mun skanna í hverri heimsókn. Ef vefsíðan hefur margar ómikilvægar síður (innri leitarsíður, síur, síðuskiptingar), gæti Googlebot eytt tíma sínum í að skanna þessar síður í stað mikilvægra þjónustusíðna eða bloggfærslna.

Disallow: /search?
Disallow: /tag/
Disallow: /page/

💡 Crawl budget er aðallega mikilvægt fyrir stórar vefsíður (þúsundir síðna). Lítil fyrirtækjavefsíður þurfa oft ekki að hafa áhyggjur, en það er alltaf góður siður að halda robots.txt snyrtilegri.

3. Loka á tvítekinn efni

Ef vefsíðan hefur margar slóðir sem vísa á sama efni (t.d. slóðir með rakningarfæribreytum ?utm_source=facebook, eða prentútgáfu ?print=true), getur þú lokað á þessar tvítekningar:

Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=

4. Vísa á sitemap

Robots.txt er fyrsti staðurinn sem Googlebot athugar þegar það kemur á vefsíðu. Með því að setja sitemap slóðina hér hjálpar þú Google að finna sitemap hraðar – jafnvel þótt þú hafir ekki sent það inn í gegnum Search Console.

Sitemap: https://example.com/sitemap.xml

Hvenær þurfa fyrirtæki að huga að robots.txt?

Þú þarft ekki alltaf að breyta robots.txt. En það eru tímamót þar sem það er nauðsynlegt að athuga þessa skrá:

Þegar vefsíða er nýlega sett í loftið (go-live)

Þetta er mikilvægasta tímabilið. Mörgum vefsíðum er algjörlega lokað fyrir vafra því þróunaraðilinn gleymir að fjarlægja línuna Disallow: / – línuna sem þeir settu inn á staging áfanga til að Google indeksaði ekki ófullgerða útgáfu.

Athugaðu þegar sett er í loftið:

Hạng mục	Hvernig á að athuga
Tilvist robots.txt skráar	Opnaðu https://ten-mien.com/robots.txt í vafra
Ekki er verið að loka öllu vefsvæðinu	Gakktu úr skugga um að það sé EKKI lína Disallow: /
Sitemap er tilkynnt	Gakktu úr skugga um að það SÉ lína Sitemap: https://ten-mien.com/sitemap.xml
Mikilvægar síður eru ekki lokaðar	Athugaðu að þjónustu-, blogg- og tengiliðasíður séu ekki í Disallow

✅ Þegar vefsvæðið þitt hefur ekki verið vísitað af Google í margar vikur

Ef þú ert með sitemap, hefur sent það inn í Search Console, en Google vísitar það samt ekki – robots.txt er fyrsti grunaði sem þarf að athuga.

Þegar þú bætir við svæðum sem á að fela (aðildarsvæði, innri síður)

Ef vefsvæðið þitt bætir við stjórnunarsíðum reikninga, aðildarsvæðum eða innri síðum – uppfærðu robots.txt til að loka þessum svæðum.

Þegar skipt er um vefpall eða endurhönnun vefsvæðis

Hver vefpallur (WordPress, Webflow, sérsniðinn kóði) býr til mismunandi URL uppbyggingu. Við flutning gæti gamla robots.txt skráin lokað fyrir nýjar síður ranglega eða gleymt síðum sem á að loka.

Þegar Search Console tilkynnir villu „Blocked by robots.txt“

Google Search Console hefur skýrslu um Vísitun sem sýnir hvaða síður eru lokaðar af robots.txt. Ef þú sérð mikilvægar síður lokaðar – þá er kominn tími til að breyta skránni.

5 algengustu robots.txt villur og hvernig á að laga þær

Villa 1: Lokun alls vefsvæðis – alvarlegasta villan

Einkenni: Engin síða er vísituð af Google. Search Console tilkynnir fjölda síðna sem „Blocked by robots.txt“.

Orsök: Robots.txt skráin inniheldur:

User-agent: 
Disallow: /

Þessar tvær línur þýða: „Banna öllum róbótum aðgang að neinni síðu.“ Þetta gerist oft þegar verktaki setur þessa reglu meðan á prófun stendur og gleymir að fjarlægja hana við útgáfu.

Hvernig á að laga: Breyta í:

User-agent: *
Disallow:

Sitemap: https://ten-mien.com/sitemap.xml

Disallow: (ekkert á eftir tvípunktinum) = leyfa aðgengi fyrir alla.

⚠️ Þetta er #1 villa sem við sjáum á nýjum fyrirtækjasvæðum. Eftir lagfæringu getur Google tekið nokkra daga til nokkrar vikur að vísita aftur. Sendu sitemap aftur í gegnum Search Console til að flýta ferlinu.

---

Villa 2: Lokun á CSS og JavaScript

Einkenni: Vefsvæðið birtist eðlilega í vafra, en þegar „URL Inspection“ tólið í Search Console er notað, sér Google að síðan er með brotinn útlit eða tómt innihald.

Orsök: Robots.txt lokar á möppur sem innihalda CSS og JS:

Disallow: /wp-content/
Disallow: /wp-includes/

Google þarf að lesa CSS og JS til að skilja hvernig síðan lítur út (kallað „rendering“). Ef það er lokað, getur Google ekki endurskapað síðuna → skilur ekki innihaldið → hefur áhrif á röðun.

Hvernig á að laga:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/

📝 Athugið fyrir verktaka: Frá árinu 2014 hefur Google mælt eindregið með: ekki loka fyrir CSS, JS og myndir í robots.txt. Googlebot þarf þessa auðlindir til að endurskapa síður á réttan hátt. Notaðu URL Inspection tólið í Search Console til að athuga hvernig Google endurskapar síðuna þína.

Villa 3: Röng lokun á mikilvægum síðum

Einkenni: Þjónustu-, vöru- eða bloggsíður birtast ekki á Google – þrátt fyrir að vera á sitemap.

Orsök: Reglan í robots.txt er of víð. Til dæmis:

Disallow: /dich-vu

Þessi lína lokar ekki aðeins á /dich-vu/ heldur einnig /dich-vu-thiet-ke-web/, /dich-vu-seo/, og hvaða URL sem byrjar á /dich-vu.

Lausn: Bætið við skástrikuðu striki / í lok slóðarinnar til að loka nákvæmlega fyrir skráarsafn:

Disallow: /dich-vu-noi-bo/

Eða notið Allow til að vernda nauðsynlegar síður:

Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/

📝 Athugið fyrir verktaki: Röðunin á Allow og Disallow skiptir máli. Googlebot notar nákvæmustu regluna (most specific path). Ef lengd er sú sama, þá fær Allow forgang fram yfir Disallow. Prófið alltaf með Robots Testing Tool í Search Console áður en þið setjið í loftið.

Villa 4: Engin robots.txt skrá

Birtingarmynd: Slá inn ten-mien.com/robots.txt → skilar 404 villu.

Orsök: Vefsíðan er gerð handvirkt og verktaki bjó ekki til þessa skrá. Eða skránni var eytt óvart við uppsetningu.

Áhrif: Ekki eins alvarlegt og villa 1 - ef engin robots.txt er til, mun Google sjálfkrafa leita um allt. En þetta þýðir:

• Google mun leita um allar stjórnendaskrár, prófunarsíður, innri síður
• Þú hefur enga leið til að vísa á sitemap í gegnum robots.txt
• Vantar grunnstýringu

Lausn: Búið til robots.txt skrá í rótarskránni. Lágmarksefniskröfur:

User-agent: *
Disallow: /admin/
Disallow: /search?

Sitemap: https://ten-mien.com/sitemap.xml

---

Villa 5: Notkun robots.txt til að fela síðu frá Google (rangtúlkað tilgang)

Birtingarmynd: Þú lokar fyrir síðu með Disallow, en síðan birtist samt á Google - án efnisútdráttar.

Orsök: Robots.txt lokar fyrir leit, ekki fyrir vísitölu. Ef síðan hefur þegar verið vísitöluð, eða ef hún hefur bakþráð frá annarri vefsíðu, getur Google haldið slóðinni í leitarniðurstöðum - hún birtir aðeins ekki efnið.

Rétt lausn:

Markmið	Hvað á að nota
Ekki vilja að Google leiti (skanni)	Disallow í robots.txt
Ekki vilja að Google vísi (birti)	merki í HTML
Ekki vilja hvort tveggja	Nota noindex í HTML (og ekki loka í robots.txt)

⚠️ Þetta er sá punktur sem oftast er misskilinn: Ef þú lokar bæði fyrir leit (robots.txt) og setur noindex (HTML), mun Google ekki sjá noindex merkið vegna þess að það hefur ekki heimild til að skanna síðuna — og síðan gæti samt verið vísitöluð. Lausn: notaðu noindex í HTML og fjarlægðu Disallow regluna fyrir þá síðu í robots.txt.

Dæmi um robots.txt fyrir fyrirtækisvefsíðu

Hér er dæmi um robots.txt skrá sem hentar flestum litlum og meðalstórum fyrirtækisvefsíðum:

# =============================================
# Robots.txt fyrir fyrirtækisvefsíðu
# Uppfært: 2026-04-20
# =============================================

# Gildir fyrir alla bota
User-agent: *

# Loka fyrir stjórnendarsvæði og innra svæði
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/

# Loka fyrir innri leitarsíður (til að spara leitarrými)
Disallow: /search?
Disallow: /*?s=

# Loka fyrir URL með rekjasniðmátum (til að forðast tvöfalt efni)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=

# Loka fyrir körfu/greiðslusíður (ef til staðar)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

# Leyfa CSS, JS, myndir (Google þarf til að birta síðu)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/

# Vísa á sitemap
Sitemap: https://ten-mien.com/sitemap.xml

📝 Athugasemd til forritara: robots.txt skráin verður að vera staðsett í rót lénsins — https://example.com/robots.txt. Ekki á /blog/robots.txt eða öðrum undirmöppum. Hvert undirlén þarf sína eigin robots.txt (til dæmis: blog.example.com/robots.txt aðskilið frá example.com/robots.txt).

Hvernig á að athuga robots.txt á vefsvæðinu þínu

Aðferð 1: Athuga beint í vafra

Sláðu inn https://nafn-linsins-thins.com/robots.txt í heimilisfangastikuna. Þú munt sjá innihald skráarinnar sem texta. Ef þú færð 404 villu — þá er vefsvæðið ekki með robots.txt.

Aðferð 2: Notaðu Google Search Console

1. Skráðu þig inn á Google Search Console
2. Farðu í Stillingar → Vakning → robots.txt
3. Skoðaðu robots.txt skrána sem Google er að lesa
4. Athugaðu hvort sérstök URL séu lokuð

Aðferð 3: Athuga í vísitöluskýrslum

Í Search Console → Síður (eða Vísitölur) → Finndu kaflann "Lokað af robots.txt". Ef mikilvægar síður eru á þessum lista þarftu að leiðrétta robots.txt strax.

💡 Það er ráðlagt að athuga robots.txt að minnsta kosti ársfjórðungslega eða í hvert skipti sem vefsvæðið upplifir stórar breytingar (bæta við síðum, breyta uppbyggingu, flytja á nýjan vettvang).

Samantöfluð tafla: Hvað ætti að loka og hvað ætti ekki að loka í robots.txt

✅ ÆTT að loka	❌ ÆTT EKKI að loka
Stjórnendasíður (/admin/, /wp-admin/)	Forsíða, þjónustudeildir, tengiliðasíður
Staging / prófunarsíður	Bloggfærslur, greinar
Innri leitarniðurstöður (/search?)	CSS og JavaScript skrár
URL með rekjandi færibreytum (?utm_, ?fbclid=)	Myndir (Google Myndir færir einnig umferð)
Vörulisti, greiðslusíður, persónulegir reikningar	Vefkort
Afritað efni (síur, flokkun, síðunúmerun)	Algengar spurningar, tilviksrannsóknir

---

Algengar spurningar um robots.txt

Hver er munurinn á robots.txt og vefkorti?

Vefkort segir: „Þetta er síðan sem ég vil að Google viti af.“ Robots.txt segir: „Þetta er síðan sem ég vil ekki að Google skrifi.“ Tvær skrár bæta hver aðra upp — vefkortið sýnir leiðina inn, robots.txt setur hindranir.

Ef ég er ekki með robots.txt, getur Google samt skrifið vefinn minn?

Já. Ef það er engin robots.txt, á Google sjálfkrafa að skrifa allar síður — jafnvel þær sem þú vilt ekki. Þess vegna ætti að hafa þessa skrá.

Ég nota WordPress, hvar er robots.txt skráin?

WordPress býr til sýndar (virtual) robots.txt skrá sjálfkrafa. Ef þú notar SEO viðbót eins og Yoast eða Rank Math geturðu breytt robots.txt beint í viðbótinni án þess að þurfa aðgang að netþjóninum.

Hefur robots.txt áhrif á hraða vefsvæðis?

Nei. Þessi skrá er aðeins nokkur KB að stærð. Hún hefur engin áhrif á hleðsluhraða síðna.

Ég hef lokað síðum með robots.txt, af hverju birtast þær samt á Google?

Vegna þess að robots.txt lokuðu aðeins fyrir vinnslu, ekki vísitölu. Ef þú vilt að síða hverfi algjörlega af Google, notaðu merkið í HTML — og ekki loka þeirri síðu í robots.txt (svo Google geti lesið noindex merkið).

Eftir að ég hef breytt robots.txt, hversu langan tíma tekur það fyrir Google að uppfæra?

Google athugar venjulega robots.txt aftur innan 24-48 klukkustunda. Þú getur farið í Search Console → Stillingar → Vakning til að biðja Google um að athuga aftur fyrr.

Niðurstaða

Robots.txt er lítil skrá — oft aðeins nokkrar línur — en hún hefur beina áhrif á hvort Google sér vefsvæðið þitt eða ekki.

Hlutir til að muna:

1. Robots.txt er „Bannað svæði“ skiltið: segir Google hvaða síður á ekki að skanna
2. Athugaðu strax við vefsíðugang: villur sem loka allri vefsíðunni eru algengustu og alvarlegustu villurnar
3. Ekki nota robots.txt til að fela síður fyrir Google: það hindrar skönnun, ekki vísitölu
4. Leyfðu alltaf CSS og JS: Google þarf að birta síðuna til að skilja innihaldið
5. Sameinaðu með vefkorti og Search Console: til að hafa fulla stjórn á því hvernig Google skannar og vísar vefsíðunni

Athugaðu grunn vefsíðunnar þinnar

Robots.txt er aðeins einn af mörgum tæknilegum þáttum sem hafa áhrif á SEO. Ef þú spyrð þig: „Er vefsíðan mín stillt rétt?“ - svarið liggur í þeim grunni sem þú notar.

GTG CRM hjálpar þér að hafa vefsíðu með réttu robots.txt, sjálfvirkum vefkortum og tæknilegri uppbyggingu sem er tilbúin fyrir Google - þú þarft ekki að hafa áhyggjur af því að breyta hverri skrá, hverri kóðalínu.