Was ist Robots.txt und wann sollten Unternehmen diese Datei beachten?

Was ist die robots.txt und wann sollten Unternehmen diese Datei beachten?

Sie haben eine Sitemap, haben sie an Google gesendet, und Ihre Website wird auch indiziert. Aber eines Tages stellen Sie fest, dass die Admin-Seite, die interne Zahlungsseite oder die Staging-Seite Ihrer Website auch auf Google erscheint. Kunden geben den Namen Ihres Unternehmens ein – und sehen sogar die unfertige Testseite.

Oder umgekehrt: Sie veröffentlichen einen neuen Blogbeitrag, warten zwei Wochen und er erscheint immer noch nicht auf Google. Wenn Sie die technische Abteilung fragen, sagen sie: "Die robots.txt-Datei blockiert Google daran, die gesamte Website zu crawlen."

Beide Situationen hängen mit einer kleinen Datei zusammen, die von den meisten Webmastern übersehen wird: robots.txt.

Dieser Artikel erklärt, was robots.txt ist, wie sie funktioniert, wann Sie sie bearbeiten müssen und welche häufigen Fehler Unternehmen vermeiden sollten – alles in einfacher Sprache, mit praktischen Beispielen.

Was ist robots.txt? Eine Erklärung für Webmaster

Wenn die Sitemap der Bauplan eines Gebäudes ist – der Google zeigt, welche Räume es gibt –, dann ist robots.txt ein Schild "Restricted Area", das Google mitteilt, welche Räume nicht betreten werden dürfen.

Technisch ausgedrückt: robots.txt ist eine kleine Textdatei, die sich im Stammverzeichnis Ihrer Website befindet (z. B. https://example.com/robots.txt). Diese Datei enthält Regeln (rules), die den Bots von Suchmaschinen – wie Googlebot – mitteilen:

• Welche Seiten gecrawlt werden dürfen
• Welche Seiten nicht gecrawlt werden dürfen
• Wo sich die Sitemap befindet

Sie können die robots.txt jeder Website einsehen, indem Sie Folgendes in Ihren Browser eingeben: domainname.com/robots.txt.

💡 Wichtig: robots.txt ist nur eine höfliche Anfrage, kein absolutes Verbot. Seriöse Bots wie Googlebot halten sich daran, aber schlechte Bots (Spam, Scraper) können sie ignorieren. Wenn Sie wirkliche Sicherheit benötigen, verwenden Sie Passwörter oder eine Firewall – verlassen Sie sich nicht auf robots.txt.

Wie sieht eine robots.txt-Datei aus?

Sie müssen diese Datei nicht von Grund auf neu schreiben. Aber um sie zu verstehen, wenn Sie sie sehen, hier ist eine einfache robots.txt-Datei:

User-agent: *
Disallow: /admin/
Disallow: /checkout/
Disallow: /staging/
Allow: /

Sitemap: https://example.com/sitemap.xml

Erklärung jeder Zeile:

Zeile	Bedeutung
User-agent: *	Gilt für alle Bots (Google, Bing usw.)
Disallow: /admin/	Verbietet Bots den Zugriff auf den Ordner /admin/
Disallow: /checkout/	Verbietet Bots den Zugriff auf die Checkout-Seite
Disallow: /staging/	Verbietet Bots den Zugriff auf die Staging-Version
Allow: /	Erlaubt Bots, den Rest zu crawlen
Sitemap: https://...	Teilt Bots mit, wo sich die Sitemap befindet

Hier ist ein komplexeres Beispiel – geeignet für eine Unternehmenswebsite mit Blog, Serviceseiten und einem Admin-Bereich:

# Erlaubt allen Bots, öffentliche Inhalte zu crawlen
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?
Disallow: /*?ref=
Disallow: /*?utm_

# Erlaubt Googlebot, CSS und JS zu crawlen (notwendig für das Rendern von Seiten)
User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/

Sitemap: https://example.com/sitemap.xml

📝 Hinweis für Entwickler: Das Zeichen * im Pfad ist ein Wildcard – /*?utm_ bedeutet, dass alle URLs blockiert werden, die den Parameter ?utm_ enthalten. Das Zeichen $ am Ende des Pfads wird verwendet, um genau das Ende der URL abzugleichen. Zum Beispiel: Disallow: /*.pdf$ blockiert alle PDF-Dateien.

---

Wie funktioniert robots.txt im SEO-Prozess?

Um die Position von robots.txt zu verstehen, werfen wir einen Blick auf den Prozess, wie Google eine Website in Suchergebnisse aufnimmt:

Crawl → Index → Rank
(Crawlen)   (Indizieren)   (Ranken)

Robots.txt greift in der ersten Phase ein – Crawl.

Bevor der Googlebot beginnt, eine beliebige Seite Ihrer Website zu crawlen, **prüft er zuerst die robots.txt**. Wenn eine URL in Disallow aufgeführt ist, ignoriert der Googlebot diese Seite – er crawlt und liest den Inhalt nicht.

Googlebot möchte https://example.com/admin/settings crawlen
→ Prüft robots.txt
→ Findet Disallow: /admin/
→ Ignoriert, crawlt nicht

Googlebot möchte https://example.com/dich-vu/ crawlen
→ Prüft robots.txt
→ Wird nicht blockiert
→ Crawlt normal → Indiziert → Kann in den Suchergebnissen erscheinen

Robots.txt und Sitemap: Ein unterstützendes Duo

Datei	Rolle
Sitemap	"Dies ist die Liste der Seiten, die ich möchte, dass Google sie kennt."
Robots.txt	"Dies sind die Seiten, die ich nicht möchte, dass Google sie crawlt."

Diese beiden Dateien widersprechen sich nicht – sie arbeiten zusammen. Die Sitemap weist den Weg, robots.txt setzt Barrieren. Richtig kombiniert, kontrollieren Sie, was Google auf Ihrer Website sieht und was es ignoriert.

Wozu dient robots.txt? 4 gängige Anwendungsfälle

1. Verstecken von Verwaltungs- und internen Seiten vor Google

Admin-Seiten, CMS-Backend-Seiten, Staging-Seiten, Test-Seiten – all diese sollten nicht bei Google erscheinen. Robots.txt hilft Ihnen, Google zu sagen: "Geh hier nicht rein."

Disallow: /admin/
Disallow: /wp-admin/
Disallow: /staging/

2. Vermeiden von verschwendetem "Crawl-Budget"

Google crawlt nicht unbegrenzt. Jede Website hat ein "Crawl-Budget" – die Anzahl der Seiten, die der Googlebot bei jedem Besuch crawlen wird. Wenn eine Website viele unwichtige Seiten hat (interne Suchseiten, Filterseiten, Paginierungsseiten), kann der Googlebot damit beschäftigt sein, diese zu crawlen, anstatt wichtige Service-Seiten oder Blogbeiträge.

Disallow: /search?
Disallow: /tag/
Disallow: /page/

💡 Crawl-Budget ist hauptsächlich für große Websites (Tausende von Seiten) wichtig. Kleine Unternehmenswebsites müssen sich normalerweise keine allzu großen Sorgen machen, aber eine aufgeräumte robots.txt zu pflegen, ist dennoch eine gute Angewohnheit.

3. Blockieren von doppeltem Inhalt

Wenn Ihre Website mehrere URLs hat, die zum gleichen Inhalt führen (z. B. URLs mit Tracking-Parametern ?utm_source=facebook oder einer Druckversion ?print=true), können Sie diese doppelten URLs blockieren:

Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?print=

4. Angabe des Pfads zur Sitemap

Robots.txt ist die erste Stelle, die der Googlebot beim Besuch einer Website prüft. Wenn Sie hier den Pfad zur Sitemap angeben, findet Google die Sitemap schneller – auch wenn Sie sie noch nicht über die Search Console eingereicht haben.

Sitemap: https://example.com/sitemap.xml

Wann sollten Unternehmen auf robots.txt achten?

Sie müssen Ihre robots.txt nicht immer anpassen. Es gibt jedoch Zeitpunkte, an denen die Überprüfung dieser Datei **zwingend erforderlich** ist:

Wenn eine neue Website live geschaltet wird

Dies ist der wichtigste Zeitpunkt. Viele Websites werden vollständig vom Crawlen blockiert, weil die Entwickler vergessen, die Zeile Disallow: / zu entfernen – eine Zeile, die sie während der Staging-Phase eingefügt haben, damit Google die unfertige Version nicht indexiert.

Prüfen Sie beim Go-Live:

Kategorie	Wie man testet
robots.txt-Datei vorhanden	Öffnen Sie https://ihre-domain.com/robots.txt im Browser
Nicht die gesamte Website blockieren	Stellen Sie sicher, dass KEINE Zeile Disallow: / vorhanden ist
Sitemap deklariert	Stellen Sie sicher, dass die Zeile Sitemap: https://ihre-domain.com/sitemap.xml vorhanden ist
Wichtige Seiten nicht blockiert	Überprüfen Sie, ob die Seiten für Dienste, Blog, Kontakt nicht in Disallow enthalten sind

✅ Wenn Ihre Website über Wochen nicht von Google indexiert wird

Wenn Sie eine Sitemap haben, diese über die Search Console gesendet haben und Google sie immer noch nicht indexiert – ist robots.txt der erste Verdächtige, den Sie überprüfen müssen.

Beim Hinzufügen von Bereichen, die verborgen werden sollen (Mitgliederbereich, interne Seiten)

Wenn Ihre Website eine Kontoverwaltungsseite, einen Mitgliederbereich oder interne Seiten hinzufügt – aktualisieren Sie robots.txt, um diese Bereiche zu blockieren.

Beim Wechsel der Website-Plattform oder Neugestaltung

Jede Plattform (WordPress, Webflow, benutzerdefinierter Code) erstellt unterschiedliche URL-Strukturen. Beim Migrieren kann die alte robots.txt-Datei neue Seiten fälschlicherweise blockieren oder Seiten, die blockiert werden müssen, übersehen.

Wenn die Search Console die Fehlermeldung „Blocked by robots.txt“ anzeigt

Google Search Console bietet einen Bericht namens Indexing, der angibt, welche Seiten durch robots.txt blockiert werden. Wenn Sie feststellen, dass wichtige Seiten blockiert werden – ist es an der Zeit, die Datei sofort zu bearbeiten.

5 häufige Fehler in robots.txt und deren Behebung

Fehler 1: Blockieren der gesamten Website – der schwerwiegendste Fehler

Symptome: Keine einzige Seite wird von Google indexiert. Die Search Console meldet eine große Anzahl von Seiten als „Blocked by robots.txt“.

Ursache: Die robots.txt-Datei enthält:

User-agent: 
Disallow: /

Diese beiden Zeilen bedeuten: „Verbiete allen Bots den Zugriff auf jede Seite.“ Dies geschieht häufig, wenn Entwickler diese Regel während der Staging-Phase festlegen und vergessen, sie beim Live-Schalten zu entfernen.

Behebung: Ändern Sie zu:

User-agent: *
Disallow:

Sitemap: https://ihre-domain.com/sitemap.xml

Disallow: (ohne etwas nach dem Doppelpunkt) = erlaubt das Crawlen aller Seiten.

⚠️ Dies ist der häufigste Fehler Nr. 1, den wir bei neuen Unternehmenswebsites sehen. Nach der Korrektur kann es einige Tage bis Wochen dauern, bis Google die Seite neu gecrawlt hat. Senden Sie die Sitemap erneut über die Search Console, um den Prozess zu beschleunigen.

---

Fehler 2: Blockieren von CSS und JavaScript

Symptome: Die Website wird im Browser normal angezeigt, aber wenn Sie das Tool „URL-Inspektion“ in der Search Console verwenden, stellt Google fest, dass das Layout der Seite beschädigt ist oder der Inhalt fehlt.

Ursache: Robots.txt blockiert Verzeichnisse, die CSS und JS enthalten:

Disallow: /wp-content/
Disallow: /wp-includes/

Google muss CSS und JS lesen, um zu verstehen, wie die Seite aussieht (dies wird als „Rendering“ bezeichnet). Wenn diese blockiert werden, kann Google die Seite nicht rendern → versteht den Inhalt nicht → beeinflusst das Ranking.

Behebung:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/
Allow: /wp-includes/

📝 Hinweis für Entwickler: Seit 2014 empfiehlt Google ausdrücklich: blockieren Sie CSS, JS und Bilder nicht in robots.txt. Googlebot benötigt diese Ressourcen, um die Seite korrekt zu rendern. Verwenden Sie das URL-Inspektionstool in der Search Console, um zu überprüfen, wie Google Ihre Seite rendert.

Fehler 3: Falsches Blockieren wichtiger Seiten

Symptome: Dienstleistungsseiten, Produktseiten oder Blogbeiträge erscheinen nicht bei Google – auch wenn die Sitemap sie auflistet.

Ursache: Die Regel in robots.txt ist zu breit gefasst. Zum Beispiel:

Disallow: /dich-vu

Diese Zeile blockiert nicht nur /dich-vu/, sondern auch /dich-vu-thiet-ke-web/, /dich-vu-seo/ und jede URL, die mit /dich-vu beginnt.

Lösung: Fügen Sie einen Schrägstrich / am Ende des Pfads hinzu, um das Verzeichnis korrekt zu blockieren:

Disallow: /dich-vu-noi-bo/

Oder verwenden Sie Allow, um benötigte Seiten zu schützen:

Disallow: /dich-vu-noi-bo/
Allow: /dich-vu/
Allow: /dich-vu-thiet-ke-web/

📝 Hinweis für Entwickler: Die Reihenfolge von Allow und Disallow hat Auswirkungen. Googlebot verwendet die spezifischste Regel (most specific path). Bei gleicher Länge wird Allow gegenüber Disallow bevorzugt. Testen Sie immer mit dem Robots Testing Tool in der Search Console, bevor Sie Änderungen übernehmen.

Fehler 4: Keine robots.txt-Datei

Symptom: Geben Sie ihre-domain.com/robots.txt ein → gibt einen 404-Fehler zurück.

Ursache: Die Website wurde manuell erstellt und der Entwickler hat diese Datei nicht erstellt. Oder die Datei wurde beim Deployment versehentlich gelöscht.

Auswirkung: Nicht so schwerwiegend wie Fehler 1 – wenn keine robots.txt vorhanden ist, crawlt Google standardmäßig alles. Dies bedeutet jedoch:

• Google crawlt Admin-Seiten, Testseiten und interne Seiten.
• Sie haben keine Möglichkeit, über robots.txt auf Ihre Sitemap zu verweisen.
• Es fehlt an grundlegender Kontrolle.

Lösung: Erstellen Sie eine Datei namens robots.txt im Stammverzeichnis. Minimaler Inhalt:

User-agent: *
Disallow: /admin/
Disallow: /search?

Sitemap: https://ihre-domain.com/sitemap.xml

---

Fehler 5: robots.txt zum Verstecken von Seiten vor Google verwenden (Zweck falsch verstanden)

Symptom: Sie blockieren eine Seite mit Disallow, aber die Seite erscheint trotzdem in Google – wenn auch ohne Inhalts-Snippet.

Ursache: Robots.txt blockiert das Crawling, nicht das Indexieren. Wenn die Seite bereits zuvor indexiert wurde oder Backlinks von anderen Websites auf sie verweisen, kann Google die URL in den Suchergebnissen beibehalten – nur wird der Inhalt nicht angezeigt.

Korrekte Lösung:

Ziel	Verwenden
Google soll nicht crawlen (scannen)	Disallow in robots.txt
Google soll nicht indexieren (anzeigen)	-Tag im HTML
Beides nicht gewünscht	noindex im HTML verwenden (und nicht in robots.txt blockieren)

⚠️ Dies ist der am häufigsten missverstandene Punkt: Wenn Sie sowohl das Crawling blockieren (robots.txt) als auch noindex setzen (HTML), wird Google das noindex-Tag nicht sehen, da die Seite nicht gecrawlt wird – und die Seite kann trotzdem indexiert werden. Lösung: Verwenden Sie noindex im HTML und entfernen Sie die Disallow-Regel für diese Seite in robots.txt.

Beispiel für robots.txt für eine Unternehmenswebsite

Hier ist eine Beispiel-robots.txt-Datei, die für die meisten KMU-Unternehmenswebsites geeignet ist:

# =============================================
# Robots.txt für Unternehmenswebsite
# Aktualisiert: 2026-04-20
# =============================================

# Gilt für alle Bots
User-agent: *

# Administrator- und interne Bereiche blockieren
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/
Disallow: /staging/

# Interne Suchseiten blockieren (um Crawling-Budget zu sparen)
Disallow: /search?
Disallow: /*?s=

# URLs mit Tracking-Parametern blockieren (duplizierte Inhalte vermeiden)
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=

# Warenkorb-/Kasseiten blockieren (falls vorhanden)
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

# CSS, JS, Bilder zulassen (Google benötigt sie zum Rendern der Seite)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-includes/

# Verweis auf die Sitemap
Sitemap: https://ihre-domain.com/sitemap.xml

📝 Hinweis für Entwickler: Die robots.txt-Datei muss sich im Root-Verzeichnis der Domain befinden — https://example.com/robots.txt. Nicht /blog/robots.txt oder in einem anderen Unterverzeichnis. Jede Subdomain benötigt eine eigene robots.txt (z.B. blog.example.com/robots.txt, separat von example.com/robots.txt).

So überprüfen Sie die robots.txt Ihrer Website

Methode 1: Direkt im Browser überprüfen

Geben Sie https://ihre-domain.com/robots.txt in die Adressleiste ein. Sie sehen den Inhalt der Datei im Textformat. Wenn Sie einen 404-Fehler erhalten, hat die Website noch keine robots.txt.

Methode 2: Google Search Console verwenden

1. Melden Sie sich bei der Google Search Console an
2. Gehen Sie zu Einstellungen → Crawling → robots.txt
3. Sehen Sie die robots.txt-Datei, die Google liest
4. Prüfen Sie, ob eine bestimmte URL blockiert ist

Methode 3: Im Indexierungsbericht prüfen

In Search Console → Seiten (oder Indexierung) → Suchen Sie nach dem Abschnitt "Blockiert durch robots.txt". Wenn sich wichtige Seiten in dieser Liste befinden, müssen Sie die robots.txt sofort korrigieren.

💡 Es ist ratsam, die robots.txt mindestens einmal pro Quartal zu überprüfen oder jedes Mal, wenn es größere Änderungen an der Website gibt (neue Seiten, Strukturänderungen, Plattformmigration).

Zusammenfassung: Was die robots.txt blockieren sollte und was nicht

✅ SOLLTE blockieren	❌ SOLLTE NICHT blockieren
Admin-Seiten (/admin/, /wp-admin/)	Startseite, Dienstleistungsseiten, Kontaktseite
Staging- / Testseiten	Blogbeiträge, Artikel
Interne Suchseiten (/search?)	CSS- und JavaScript-Dateien
URLs mit Tracking-Parametern (?utm_, ?fbclid=)	Bilder (Google Bilder bringt auch Traffic)
Warenkorb-, Zahlungs- und Kontoseiten	Sitemap
Seiten mit doppeltem Inhalt (Filter, Sortierung, Paginierung)	FAQ-Seiten, Fallstudien

---

Häufig gestellte Fragen zur robots.txt

Was ist der Unterschied zwischen robots.txt und sitemap?

Sitemap sagt: "Das sind die Seiten, von denen ich möchte, dass Google sie kennt." robots.txt sagt: "Das sind die Seiten, die ich nicht von Google gecrawlt haben möchte." Die beiden Dateien ergänzen sich — die Sitemap weist den Weg hinein, die robots.txt errichtet Sperren.

Wenn ich keine robots.txt habe, kann Google meine Website crawlen?

Ja. Ohne robots.txt crawlt Google standardmäßig alle Seiten — auch die, die Sie nicht wollen. Deshalb ist diese Datei wichtig.

Ich benutze WordPress, wo finde ich die robots.txt?

WordPress erstellt eine virtuelle robots.txt. Wenn Sie ein SEO-Plugin wie Yoast oder Rank Math verwenden, können Sie die robots.txt direkt im Plugin bearbeiten, ohne auf den Server zugreifen zu müssen.

Beeinflusst robots.txt die Website-Geschwindigkeit?

Nein. Die Datei ist nur wenige KB groß. Sie hat keinen Einfluss auf die Seitenladezeiten.

Ich habe eine Seite über robots.txt blockiert, aber sie erscheint trotzdem auf Google?

Weil robots.txt nur das Crawling blockiert, nicht die Indexierung. Wenn Sie möchten, dass eine Seite vollständig von Google verschwindet, verwenden Sie den Tag im HTML — und blockieren Sie diese Seite nicht in der robots.txt (damit Google den noindex-Tag lesen kann).

Wie lange dauert es, bis Google die robots.txt nach der Änderung aktualisiert?

Google überprüft die robots.txt in der Regel innerhalb von 24-48 Stunden erneut. Sie können in der Search Console → Einstellungen → Crawling eine Überprüfung durch Google anfordern, um dies zu beschleunigen.

Fazit

Robots.txt ist eine kleine Datei — oft nur ein paar Zeilen lang — aber sie hat direkten Einfluss darauf, ob Google Ihre Website sieht oder nicht.

Zu beachtende Punkte:

1. Robots.txt ist das Schild „Restricted Area“: Es sagt Google, welche Seiten nicht gecrawlt werden dürfen.
2. Sofort testen, wenn die Website live geht: Fehler, die die gesamte Website blockieren, sind die häufigsten und schwerwiegendsten.
3. Verwenden Sie robots.txt nicht, um Seiten vor Google zu verstecken: Es blockiert den Crawl, aber nicht den Index.
4. Erlauben Sie immer CSS und JS: Google muss die Seite rendern, um den Inhalt zu verstehen.
5. Kombinieren Sie mit Sitemap und Search Console: Um die vollständige Kontrolle über das Crawling und Indexing der Website durch Google zu erhalten.

Überprüfen Sie das Fundament Ihrer Website

Robots.txt ist nur einer von vielen technischen Faktoren, die SEO beeinflussen. Wenn Sie sich fragen: „Ist meine Website richtig eingerichtet?“ – die Antwort liegt im Fundament, das Sie verwenden.

GTG CRM hilft Ihnen, eine Website mit standardkonformer robots.txt, automatischer Sitemap und Google-freundlicher technischer Struktur zu erstellen – Sie müssen sich keine Gedanken über einzelne Dateien oder Codezeilen machen.