Die 10 häufigsten robots.txt-Fehler und wie Sie sie beheben

Die robots.txt ist eine winzige Textdatei mit großer Wirkung: Ein einziges falsches Zeichen kann Ihre komplette Website aus der Google-Suche werfen — oder KI-Crawler aussperren, ohne dass Sie es merken. Dieser Ratgeber zeigt die zehn häufigsten Fehler und die korrekten Regeln zum Kopieren.

Was macht die robots.txt — und was nicht?

Die robots.txt liegt im Stammverzeichnis Ihrer Domain (https://www.beispiel.de/robots.txt) und sagt Crawlern, welche Bereiche sie abrufen dürfen. Sie steuert ausschließlich das Crawling — nicht die Indexierung, nicht den Zugriffsschutz und nicht, was Menschen im Browser sehen.

Drei verbreitete Missverständnisse: Erstens ist die Datei kein Sicherheitswerkzeug — jeder kann sie öffnen und sieht dort sogar, welche Pfade Sie verstecken wollten. Zweitens verhindert ein Disallow nicht zuverlässig, dass eine URL im Google-Index landet (dazu unten mehr). Drittens ist sie nur eine Bitte: Seriöse Crawler halten sich daran, böswillige Bots ignorieren sie.

Die 10 häufigsten robots.txt-Fehler im Überblick

Die meisten Probleme entstehen nicht durch komplizierte Regeln, sondern durch Tippfehler, vergessene Staging-Konfigurationen und falsche Annahmen darüber, wie Crawler die Datei lesen. Diese zehn Fälle sehen wir am häufigsten:

1. Disallow: / vergessen zu entfernen — die Staging-Sperre geht mit live und blockiert die ganze Website.
2. Datei am falschen Ort — die robots.txt gilt nur im Stammverzeichnis der jeweiligen (Sub-)Domain, nicht in Unterordnern.
3. robots.txt statt noindex verwendet — gesperrte Seiten können trotzdem im Index auftauchen.
4. CSS- und JavaScript-Dateien blockiert — Google kann die Seite dann nicht korrekt rendern und bewerten.
5. Tippfehler in Direktiven — Dissalow, fehlender Doppelpunkt oder Leerzeile mitten im Regelblock machen Regeln wirkungslos.
6. Falsche Groß-/Kleinschreibung in Pfaden — Pfade sind case-sensitiv: /Shop/ sperrt nicht /shop/.
7. Widersprüchliche Gruppen — ein spezifischer User-agent-Block ersetzt die *-Regeln komplett, er ergänzt sie nicht.
8. Wildcards falsch eingesetzt — Disallow: *.pdf statt Disallow: /*.pdf$ trifft nicht das Gewünschte.
9. Serverfehler unter /robots.txt — antwortet die URL mit 5xx, stellt Google das Crawling der Website vorsorglich ein.
10. Sitemap-Angabe fehlt oder ist relativ — die Sitemap:-Zeile braucht eine absolute URL.

Ein Muster zieht sich durch fast alle zehn Punkte: Die robots.txt verzeiht keine Ungenauigkeit. Es gibt keine Warnmeldung, keinen roten Kasten im Browser — eine fehlerhafte Regel wirkt einfach still, oft monatelang. Deshalb gehört die Datei zu den ersten Dingen, die bei unerklärlichen Sichtbarkeitsverlusten geprüft werden sollten, noch vor Inhalten oder Backlinks.

Warum wirft „Disallow: /" ganze Websites aus Google?

Disallow: / sperrt jeden Pfad, denn alle URLs beginnen mit /. Crawler dürfen dann keine einzige Seite mehr abrufen. Bestehende Rankings verschwinden nach und nach, weil Google die Inhalte nicht mehr aktualisieren kann — und neue Seiten werden gar nicht erst entdeckt.

Der Klassiker dahinter: Für die Entwicklungsumgebung wurde die Website korrekt komplett gesperrt — beim Livegang wandert die Sperr-Datei unbemerkt mit auf die Produktivdomain. Der Unterschied ist nur ein Zeichen:

# Sperrt ALLES — nur für Staging/Entwicklung:
User-agent: *
Disallow: /

# Erlaubt ALLES — leeres Disallow:
User-agent: *
Disallow:

Prüfen Sie nach jedem Relaunch als Erstes die robots.txt der Live-Domain. Ein automatisierter SEO-Check erkennt eine Komplett-Sperre sofort — noch bevor Rankings verloren gehen.

Wie prüfen Sie Ihre robots.txt kostenlos?

Der schnellste Test: Rufen Sie ihredomain.de/robots.txt im Browser auf. Die Datei muss mit Status 200 laden und darf keine HTML-Fehlerseite sein. Für die inhaltliche Prüfung bietet die Google Search Console einen robots.txt-Bericht, der Abrufprobleme und die zuletzt gelesene Version zeigt.

Gehen Sie in drei Schritten vor:

• Erreichbarkeit: Lädt die Datei mit Status 200? Ein 404 ist unkritisch, ein 5xx-Fehler stoppt das Crawling.
• Regeln: Testen Sie Ihre wichtigsten URLs (Startseite, Produktseiten, Ratgeber) gegen die Regeln — sind sie alle erlaubt?
• Nebenwirkungen: Sind CSS, JavaScript und Bilder crawlbar? Steht die Sitemap-Zeile mit absoluter URL drin?

Unser SEO-Check für 4,99 € prüft robots.txt, Sitemap und Indexierbarkeit automatisch in einem Durchlauf — das Teil-Ergebnis gibt es gratis.

robots.txt und AI-Crawler: neue Regeln für GPTBot & Co.

KI-Anbieter crawlen das Web mit eigenen User-Agents — etwa GPTBot (OpenAI), ClaudeBot (Anthropic) oder PerplexityBot. Wer in KI-Antworten als Quelle auftauchen will, darf diese Crawler nicht aussperren. Viele Sicherheits-Plugins und fertige robots.txt-Vorlagen blockieren sie jedoch pauschal — oft ohne Wissen des Website-Betreibers.

Das ist eine bewusste Geschäftsentscheidung, kein technischer Automatismus: Verlage mit Bezahlinhalten sperren KI-Crawler teils absichtlich. Für kleine Unternehmen, die von Sichtbarkeit leben, gilt meist das Gegenteil — wer für ChatGPT & Co. unsichtbar ist, wird dort auch nicht empfohlen. Die gängigen Bot-Namen im Überblick:

Ob Ihre Website KI-Crawler zulässt und maschinenlesbar aufbereitet ist, prüft unser GEO-Check. Wie Sie Ihr Unternehmen zusätzlich per strukturiertem Markup für KI eindeutig machen, lesen Sie im Ratgeber Organization-Schema einrichten.

Korrekte Beispiel-Dateien zum Kopieren

Für die meisten kleinen Websites reicht eine bewusst einfache robots.txt. Weniger Regeln bedeuten weniger Fehlerquellen:

# Standard: alles erlaubt, Sitemap angegeben
User-agent: *
Disallow:

Sitemap: https://www.beispiel.de/sitemap.xml

# Shop: interne Bereiche sperren, Rest offen
User-agent: *
Disallow: /warenkorb/
Disallow: /kasse/
Disallow: /kundenkonto/

Sitemap: https://www.beispiel.de/sitemap.xml

# KI-Crawler gezielt aussperren (bewusste Entscheidung!)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Disallow:

Sitemap: https://www.beispiel.de/sitemap.xml

Denken Sie daran: Ein spezifischer User-Agent-Block ersetzt für diesen Bot die *-Regeln vollständig. Nach Änderungen lohnt auch ein Blick in Ihre Sitemap — tote URLs dort bremsen das Crawling ebenfalls, siehe Tote Sitemap-URLs finden und beheben.

Zum Schluss noch die Frage der Pflege: Eine robots.txt ist kein Ort für Experimente. Dokumentieren Sie jede Änderung mit Datum und Grund als Kommentarzeile (# 2026-08: /kasse/ gesperrt, interne Seite), damit auch in zwei Jahren nachvollziehbar bleibt, warum eine Regel existiert. Und wenn Sie unsicher sind, ob eine Regel nötig ist: Lassen Sie sie weg. Eine zu offene robots.txt kostet selten Rankings — eine zu strenge fast immer.

Häufige Fragen zur robots.txt

Blockiert die robots.txt die Indexierung zuverlässig?

Nein. Die robots.txt steuert nur das Crawling, nicht die Indexierung. Eine per Disallow gesperrte URL kann trotzdem im Index landen, wenn andere Seiten auf sie verlinken — dann ohne Beschreibung. Wer eine Seite sicher aus dem Index halten will, nutzt das Meta-Tag noindex oder einen Passwortschutz; die Seite muss dafür crawlbar bleiben.

Was passiert, wenn keine robots.txt vorhanden ist?

Nichts Schlimmes: Antwortet der Server mit 404, dürfen Crawler die gesamte Website crawlen — das ist für viele kleine Websites völlig in Ordnung. Problematisch ist nur ein Serverfehler (5xx) unter /robots.txt: Dann pausiert Google das Crawling der Website vorsichtshalber.

Wie teste ich Änderungen gefahrlos?

Prüfen Sie die neue Datei vor dem Livegang mit dem robots.txt-Bericht in der Google Search Console oder einem robots.txt-Tester. Dort lassen sich einzelne URLs gegen die Regeln testen. Ändern Sie eine Regel nach der anderen und kontrollieren Sie danach in der Search Console, ob wichtige Seiten weiterhin als crawlbar gelten.

Gehört die Sitemap in die robots.txt?

Ja, das ist empfehlenswert. Die Zeile Sitemap: https://www.beispiel.de/sitemap.xml (mit absoluter URL) hilft allen Crawlern, Ihre Sitemap zu finden — auch ohne Anmeldung in der Search Console. Mehrere Sitemap-Zeilen sind erlaubt. Reichen Sie die Sitemap zusätzlich in der Search Console ein.