Glossar · einfach erklärt

robots.txt

Von

Paul Uhrig Software Development · Aktualisiert am 2. Juni 2026

Kurz erklärt

Die robots.txt ist eine Textdatei im Stammverzeichnis der Website, die Crawlern sagt, welche Bereiche sie besuchen dürfen — und welche nicht.

Was macht die robots.txt?

Die robots.txt liegt unter deiner-domain.de/robots.txt und gibt Crawlern Regeln: welche Verzeichnisse tabu sind, wo die Sitemap liegt, welche Bots ausgeschlossen werden. Sie ist die Hausordnung deiner Website für Suchmaschinen.

Der gefährlichste SEO-Fehler

Ein einziges falsches „Disallow: /" blockiert die komplette Website — einer der klassischen Gründe, warum Websites nach einem Relaunch aus Google verschwinden. Deshalb gehört die robots.txt bei jedem Relaunch auf die Checkliste.

robots.txt und KI-Crawler

Auch KI-Bots (z. B. GPTBot) respektieren die robots.txt. Hier entscheidest du strategisch: Wer KI-Sichtbarkeit will, sollte seriöse KI-Crawler nicht pauschal aussperren — sonst fehlst du in den Antworten von morgen.

Blockiert deine robots.txt versehentlich wichtige Seiten? Wir prüfen es kostenlos.

Kostenlosen Technik-Check starten

Häufige Fragen zu robots.txt

Verhindert robots.txt die Indexierung?

Nicht zuverlässig — sie verhindert das Crawlen, nicht die Indexierung. Für „nicht im Index" ist noindex das richtige Werkzeug.

Wo finde ich meine robots.txt?

Einfach deine-domain.de/robots.txt im Browser aufrufen. Was dort steht, gilt — auch die Fehler.

Erstgespräch

Verstehen ist gut. Umsetzen ist besser.

Im kostenlosen Erstgespräch übersetzen wir Theorie in konkrete Schritte für dein Unternehmen.

Jetzt beraten lassen

+49 (0) 7136 2953 101 office@seo-retter.de

Persönliche Ansprechpartnerin bei SEO-Retter