Je hebt een sitemap, je hebt deze ingediend bij Google, en je website wordt geïndexeerd. Maar op een dag ontdek je dat de beheerpagina (admin), de interne betaalpagina of de stagingpagina van je website ook op Google verschijnen. Klanten typen de naam van het bedrijf – en zien zelfs de onvoltooide testpagina.
Of juist andersom: je plaatst een nieuw blogbericht, wacht twee weken, en het verschijnt nog steeds niet op Google. Je vraagt de technische dienst, en ze zeggen: "Het robots.txt-bestand blokkeert Google van het crawlen van de hele website."
Beide situaties hebben betrekking op een klein bestand waar webbeheerders zelden op letten: robots.txt.
Dit artikel legt uit wat robots.txt is, hoe het werkt, wanneer je het moet aanpassen, en de veelvoorkomende fouten die bedrijven moeten vermijden – allemaal in eenvoudige taal, met praktische voorbeelden.
Wat is robots.txt? Uitleg voor webbeheerders
Als een sitemap de plattegrond van een gebouw is – Google vertelt welke kamers er zijn – dan is robots.txt het bordje "Beperkt gebied" – dat Google vertelt welke kamers niet betreden mogen worden.
Technisch gezien: robots.txt is een klein tekstbestand, dat zich bevindt in de hoofdmap van de website (bijvoorbeeld: https://example.com/robots.txt). Dit bestand bevat regels die de bots van zoekmachines – zoals Googlebot – vertellen:
- Welke pagina's wel gecrawld mogen worden
- Welke pagina's niet gecrawld mogen worden
- Waar de sitemap zich bevindt
Je kunt de robots.txt van elke website bekijken door te typen: domeinnaam.com/robots.txt in je browser.
💡 Belangrijk: robots.txt is slechts een beleefd verzoek, geen absolute verbodsbepaling. Gerenommeerde bots zoals Googlebot zullen zich eraan houden, maar slechte bots (spam, scrapers) kunnen het negeren. Als je echte beveiliging nodig hebt, gebruik dan wachtwoorden of een firewall – vertrouw niet op robots.txt.
Hoe ziet een robots.txt-bestand eruit?
Je hoeft dit bestand niet helemaal zelf te schrijven. Maar om het te begrijpen als je ernaar kijkt, is hier een eenvoudig robots.txt-bestand:
User-agent: *
Disallow: /admin/
Disallow: /thanh-toan/
Disallow: /staging/
Allow: /
Sitemap: https://example.com/sitemap.xmlUitleg van elke regel:
| Regel | Betekenis |
|---|---|
User-agent: * | Van toepassing op alle bots (Google, Bing, etc.) |
Disallow: /admin/ | Sta bots niet toe de map /admin/ binnen te gaan |
Disallow: /thanh-toan/ | Sta bots niet toe de betaalpagina binnen te gaan |
Disallow: /staging/ | Sta bots niet toe de stagingversie binnen te gaan |
Allow: / | Sta bots toe de rest van het gedeelte te crawlen |
Sitemap: https://... | Vertelt de bot waar de sitemap zich bevindt |
Hier is een complexer voorbeeld – geschikt voor een bedrijfswebsite met een blog, servicepagina's en een beheerdersgedeelte:
# Sta alle bots toe om openbare inhoud te crawlen
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_
# Sta Googlebot toe om CSS en JS te crawlen (nodig om pagina's te renderen)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/
Sitemap: https://example.com/sitemap.xml📝 Opmerking voor ontwikkelaars: Het ``-teken in het pad is een wildcard — `/?utm_` betekent het blokkeren van alle URL's die de parameter `?utm_` bevatten. Het teken `$` aan het einde van het pad wordt gebruikt om precies het einde van de URL te matchen. Bijvoorbeeld: `Disallow: /*.pdf$` blokkeert alle PDF-bestanden.
Hoe werkt robots.txt in het SEO-proces?
Om de positie van robots.txt te begrijpen, kijken we nog eens naar het proces waarbij Google webpagina's in de zoekresultaten plaatst:
Crawl → Index → Rank
(Scannen) (Opslaan) (Rangschikken)Robots.txt werkt in de eerste stap - Crawlen.
Voordat Googlebot begint met het scrapen van een pagina op uw website, controleert het eerst robots.txt. Als een URL wordt vermeld in Disallow, zal Googlebot de pagina negeren - niet scrapen, geen inhoud lezen.
Googlebot wil https://example.com/admin/settings crawlen
→ Controleert robots.txt
→ Ziet Disallow: /admin/
→ Negeert, crawlt niet
Googlebot wil https://example.com/dich-vu/ crawlen
→ Controleert robots.txt
→ Niet geblokkeerd
→ Crawlt normaal → Indexeert → Kan verschijnen in zoekresultatenRobots.txt en sitemap: een ondersteunend duo
| Bestand | Rol |
|---|---|
| Sitemap | "Dit is de lijst met pagina's waarvan ik wil dat Google ze kent" |
| Robots.txt | "Dit zijn de pagina's waarvan ik niet wil dat Google ze scant" |
Deze twee bestanden zijn niet tegenstrijdig - ze werken samen. Een sitemap geeft de weg aan, robots.txt plaatst barrières. Door ze correct te combineren, bepaalt u wat Google ziet en wat het negeert op uw website.
Waar wordt robots.txt voor gebruikt? 4 veelvoorkomende scenario's
1. Beheer- en interne pagina's verbergen voor Google
Admin-pagina's, CMS backend-pagina's, staging-pagina's, test-pagina's - deze mogen allemaal niet op Google verschijnen. Robots.txt helpt u Google te vertellen: "Ga hier niet heen."
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/2. Voorkomen van verspilling van "crawl budget"
Google crawlt niet oneindig. Elke website heeft een "crawl budget" - het aantal pagina's dat Googlebot tijdens elk bezoek scant. Als een website veel onbelangrijke pagina's heeft (interne zoekpagina's, filterpagina's, paginering), kan Googlebot bezig zijn met het scannen van deze pagina's in plaats van belangrijke servicepagina's of blogposts.
Disallow: /search?
Disallow: /tag/
Disallow: /page/💡 Crawl budget is voornamelijk belangrijk voor grote websites (duizenden pagina's). Kleine bedrijfswebsites hoeven zich hier meestal geen grote zorgen over te maken, maar een opgeruimd robots.txt-bestand houden is nog steeds een goede gewoonte.
3. Dubbele inhoud blokkeren
Als uw website meerdere URL's heeft die naar dezelfde inhoud leiden (bijvoorbeeld URL's met trackingparameters ?utm_source=facebook, of een printversie ?print=true), kunt u deze dubbele URL's blokkeren:
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=4. Verwijzen naar de sitemap
Robots.txt is de eerste plaats die Googlebot controleert wanneer het een website bezoekt. Door hier het pad naar uw sitemap te plaatsen, helpt u Google de sitemap sneller te vinden - zelfs als u deze nog niet via Search Console heeft verzonden.
Sitemap: https://example.com/sitemap.xmlWanneer moet een bedrijf zich zorgen maken over robots.txt?
U hoeft niet altijd robots.txt aan te passen. Maar er zijn momenten dat het controleren van dit bestand verplicht is:
Wanneer een website net live is gegaan
Dit is het meest kritieke moment. Veel websites worden volledig geblokkeerd voor crawling omdat de ontwikkelaars vergaten de regel Disallow: / te verwijderen - een regel die ze tijdens het staging-proces hebben geplaatst om te voorkomen dat Google de onvoltooide versie indexeert.
Controle bij livegang:
| Categorie | Hoe te controleren |
|---|---|
| robots.txt-bestand bestaat | Open https://domeinnaam.com/robots.txt in uw browser |
| Niet de hele website geblokkeerd | Zorg ervoor dat er GEEN regel Disallow: / is |
| Sitemap is gedeclareerd | Zorg ervoor dat er WEL een regel Sitemap: https://domeinnaam.com/sitemap.xml is |
| Belangrijke pagina's niet geblokkeerd | Controleer of servicepagina's, blogs, contactpagina's niet onder Disallow vallen |
✅ Wanneer een website na weken niet door Google wordt geïndexeerd
Als u al een sitemap heeft, deze via Search Console heeft ingediend, maar Google indexeert deze nog steeds niet - is robots.txt de eerste verdachte die u moet controleren.
Bij het toevoegen van gebieden die verborgen moeten worden (ledenpagina's, interne pagina's)
Als uw website een beheerpagina voor accounts, een ledengebied of interne pagina's toevoegt - werk dan uw robots.txt bij om deze gebieden te blokkeren.
Bij het wijzigen van het websiteplatform of bij een redesign
Elk platform (WordPress, Webflow, custom code) creëert een andere URL-structuur. Bij migratie kan de oude robots.txt per ongeluk nieuwe pagina's blokkeren of vergeten pagina's die geblokkeerd moeten worden.
Wanneer Search Console de foutmelding "Blocked by robots.txt" weergeeft
Google Search Console heeft een rapport Indexing dat aangeeft welke pagina's geblokkeerd zijn door robots.txt. Als u ziet dat belangrijke pagina's geblokkeerd zijn - is dit het moment om het bestand direct aan te passen.
5 veelvoorkomende robots.txt-fouten en hoe ze op te lossen
Fout 1: De hele website blokkeren - de meest ernstige fout
Symptomen: Geen enkele pagina wordt door Google geïndexeerd. Search Console geeft een reeks pagina's weer met "Blocked by robots.txt".
Oorzaak: Het robots.txt-bestand bevat:
User-agent:
Disallow: /Deze twee regels betekenen: "Verbied alle bots om welke pagina dan ook te bezoeken." Dit gebeurt vaak wanneer ontwikkelaars deze regel instellen tijdens het maken van een staging-omgeving en vergeten deze te verwijderen bij de livegang.
Oplossing: Wijzig in:
User-agent: *
Disallow:
Sitemap: https://ten-mien.com/sitemap.xmlDisallow: (niets na de dubbele punt) = sta het crawlen van alles toe.
⚠️ Dit is de nummer 1 fout die we zien bij nieuwe bedrijfswebsites. Na correctie kan het enkele dagen tot weken duren voordat Google opnieuw crawlt. Dien de sitemap opnieuw in via Search Console om dit proces te versnellen.
Fout 2: CSS en JavaScript blokkeren
Symptomen: De website wordt normaal weergegeven in de browser, maar wanneer u de "URL Inspection" tool in Search Console gebruikt, ziet Google dat de pagina een verbroken layout heeft of lege inhoud.
Oorzaak: Robots.txt blokkeert de mappen die CSS en JS bevatten:
Disallow: /wp-content/
Disallow: /wp-includes/Google moet CSS en JS lezen om te begrijpen hoe de pagina eruitziet (dit wordt "rendering" genoemd). Als dit geblokkeerd wordt, kan Google de pagina niet renderen → begrijpt de inhoud niet → beïnvloedt de ranking.
Oplossing:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/📝 Opmerking voor ontwikkelaars: Sinds 2014 raadt Google expliciet aan: blokkeer geen CSS, JS en afbeeldingen in robots.txt. Googlebot heeft deze bronnen nodig om de pagina correct te renderen. Gebruik de URL Inspection tool in Search Console om te controleren hoe Google uw pagina rendert.
Fout 3: Belangrijke pagina's per ongeluk blokkeren
Symptomen: Dienstenpagina's, productpagina's of blogposts verschijnen niet in Google - ondanks dat ze in de sitemap staan.
Oorzaak: De regel in robots.txt is te breed. Bijvoorbeeld:
Disallow: /dich-vuDeze regel blokkeert niet alleen /dich-vu/, maar ook /dich-vu-thiet-ke-web/, /dich-vu-seo/, en elke URL die begint met /dich-vu.
Oplossing: Voeg een / aan het einde van het pad toe om de map nauwkeurig te blokkeren:
Disallow: /dich-vu-noi-bo/
Of gebruik Allow om de benodigde pagina te beschermen:
Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/📝 Opmerking voor ontwikkelaars: De volgorde van `Allow` en `Disallow` is belangrijk. Googlebot gebruikt de meest specifieke regel (most specific path). Bij gelijke lengte heeft `Allow` voorrang op `Disallow`. Test altijd met de Robots Testing Tool in Search Console voordat u implementeert.
Fout 4: Geen robots.txt-bestand
Symptoom: Typ ten-mien.com/robots.txt in → 404-foutmelding.
Oorzaak: De website is handmatig gemaakt en de ontwikkelaar heeft dit bestand niet aangemaakt. Of het bestand is per ongeluk verwijderd tijdens het implementeren.
Impact: Niet zo ernstig als fout 1 - zonder robots.txt crawlt Google standaard alles. Maar dit betekent:
- Google crawlt de admin-pagina's, testpagina's, interne pagina's
- U kunt de sitemap niet aangeven via robots.txt
- Gebrek aan basiscontrole
Oplossing: Maak een robots.txt-bestand aan in de hoofdmap. Minimale inhoud:
User-agent: *
Disallow: /admin/
Disallow: /search?
Sitemap: https://ten-mien.com/sitemap.xmlFout 5: Robots.txt gebruiken om pagina's te verbergen voor Google (verkeerd begrepen doel)
Symptoom: U blokkeert een pagina met Disallow, maar de pagina verschijnt toch in Google - zij het zonder inhoudssnippet.
Oorzaak: Robots.txt blokkeert crawlen, niet indexeren. Als de pagina al eerder is geïndexeerd, of er een backlink vanaf een andere website naar verwijst, kan Google de URL in de zoekresultaten behouden - het toont alleen geen inhoud.
Correcte oplossing:
| Doel | Wat te gebruiken |
|---|---|
| Niet willen dat Google crawlt | Disallow in robots.txt |
| Niet willen dat Google indexeert (toont) | <meta name="robots" content="noindex"/>-tag in HTML |
| Beide niet willen | Gebruik noindex in HTML (en blokkeer niet in robots.txt) |
⚠️ Dit is het punt dat het vaakst verkeerd wordt begrepen: Als u zowel het crawlen blokkeert (robots.txt) alsnoindexinstelt (HTML), zal Google de noindex-tag niet zien omdat de pagina niet wordt gecrawld — en de pagina kan toch worden geïndexeerd. Oplossing: gebruiknoindexin de HTML en verwijder deDisallow-regel voor die pagina in robots.txt.
Voorbeeld robots.txt voor zakelijke websites
Hieronder staat een voorbeeld van een robots.txt-bestand dat geschikt is voor de meeste MKB-bedrijfswebsites:
# =============================================
# Robots.txt voor zakelijke website
# Bijgewerkt: 2026-04-20
# =============================================
# Van toepassing op alle bots
User-agent: *
# Blokkeer beheerders- en interne gebieden
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/
# Blokkeer interne zoekpagina's (om verspilling van crawl budget te voorkomen)
Disallow: /search?
Disallow: /*?s=
# Blokkeer URL's met trackingparameters (om dubbele inhoud te voorkomen)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=
# Blokkeer winkelwagen / betaalpagina's (indien van toepassing)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
# Sta CSS, JS, afbeeldingen toe (Google heeft deze nodig om de pagina te renderen)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/
# Wijs naar sitemap
Sitemap: https://ten-mien.com/sitemap.xml📝 Opmerking voor ontwikkelaars: Het robots.txt-bestand moet zich in de root van het domein bevinden — https://example.com/robots.txt. Niet in `/blog/robots.txt` of een andere submap. Elk subdomein heeft een eigen robots.txt nodig (bijvoorbeeld: `blog.example.com/robots.txt` is gescheiden van `example.com/robots.txt`).
Hoe de robots.txt van uw website te controleren
Methode 1: Direct controleren in de browser
Typ https://ten-mien-cua-ban.com/robots.txt in de adresbalk. U ziet de inhoud van het bestand in tekstvorm. Als u een 404-fout ziet, heeft de website nog geen robots.txt.
Methode 2: Gebruik Google Search Console
- Log in to Google Search Console
- Go to Settings → Crawling → robots.txt
- View the robots.txt file that Google is reading
- Check if a specific URL is blocked
Methode 3: Controleren in het Indexeringsrapport
In Search Console → Pagina's (of Indexering) → Zoek naar "Geblokkeerd door robots.txt". Als belangrijke pagina's in deze lijst staan, moet u robots.txt onmiddellijk corrigeren.
💡 Het is raadzaam om robots.txt minstens per kwartaal te controleren, of telkens wanneer er grote wijzigingen aan de website plaatsvinden (nieuwe pagina's, structuurwijzigingen, platformmigraties).
Overzichtstabel: Wat robots.txt wel en niet moet blokkeren
| ✅ MOET blokkeren | ❌ MOET NIET blokkeren |
|---|---|
Beheerpagina's (/admin/, /wp-admin/) | Homepage, servicepagina's, contactpagina's |
| Staging / testpagina's | Blogposts, artikelen |
Interne zoekpagina's (/search?) | CSS- en JavaScript-bestanden |
URL's met trackingparameters (?utm_, ?fbclid=) | Afbeeldingen (Google Images genereert ook verkeer) |
| Winkelwagenpagina's, afrekenpagina's, persoonlijke accountpagina's | Sitemap |
| Pagina's met dubbele inhoud (filters, sorteren, paginering) | FAQ-pagina's, casestudy's |
Veelgestelde vragen over robots.txt
Wat is het verschil tussen robots.txt en een sitemap?
Een sitemap zegt: "Dit zijn de pagina's waarvan ik wil dat Google ze kent." Robots.txt zegt: "Dit zijn de pagina's die ik niet wil laten crawlen." De twee bestanden vullen elkaar aan - een sitemap wijst de weg, robots.txt plaatst barrières.
Kan Google mijn website crawlen als er geen robots.txt is?
Ja. Zonder robots.txt crawlt Google standaard alle pagina's - inclusief pagina's die u niet wilt. Daarom is het belangrijk om dit bestand te hebben.
Ik gebruik WordPress, waar vind ik robots.txt?
WordPress maakt zelf een virtueel robots.txt-bestand. Als u een SEO-plugin zoals Yoast of Rank Math gebruikt, kunt u robots.txt rechtstreeks in de plugin bewerken zonder toegang te hoeven krijgen tot de server.
Heeft robots.txt invloed op de websnelheid?
Nee. Dit bestand is slechts een paar KB groot. Het heeft geen invloed op de laadsnelheid van pagina's.
Ik heb een pagina geblokkeerd met robots.txt, maar deze verschijnt toch in Google?
Omdat robots.txt alleen crawling blokkeert, niet indexering. Als u wilt dat een pagina volledig verdwijnt uit Google, gebruikt u de metatag in de HTML - en blokkeert u die pagina niet in robots.txt (zodat Google de noindex-tag kan lezen).
Hoe lang duurt het voordat Google robots.txt heeft bijgewerkt nadat ik het heb aangepast?
Google controleert robots.txt meestal binnen 24-48 uur opnieuw. U kunt naar Search Console → Instellingen → Crawling gaan om Google te vragen het sneller opnieuw te controleren.
Conclusie
Robots.txt is een klein bestand - vaak slechts een paar regels - maar het heeft directe invloed op de vraag of Google uw website wel of niet ziet.
Dingen om te onthouden:
- Robots.txt is een "verboden terrein"-bord: het vertelt Google welke pagina's niet gecrawld mogen worden
- Controleer direct na de livegang van de website: een fout die de hele website blokkeert is een veelvoorkomende en ernstige fout
- Gebruik robots.txt niet om pagina's voor Google te verbergen: het blokkeert crawling, niet indexering
- Sta altijd CSS en JS toe: Google heeft deze nodig om de pagina te renderen en de inhoud te begrijpen
- Combineer met sitemap en Search Console: om de crawling en indexering van uw website door Google volledig te beheersen
Controleer uw websiteplatform
Robots.txt is just one of many technical factors that affect SEO. If you're wondering: "Is my website set up correctly?" - the answer lies in the platform you're using.
GTG CRM helps you have a website with a standard robots.txt, automatic sitemap, and a technical structure ready for Google - you don't need to worry about editing every file, every line of code.
Turn what you just read into real results — apply now with GTG CRM, for free.
Apply now
