robots.txt: Definition, Aufbau & Grenzen

Die robots.txt liegt im Stammverzeichnis jeder Website und ist die erste Datei, die ein kooperierender Crawler vor jedem Seitenaufruf prüft. Ihre Zuständigkeit endet beim Abruf. Welche Seiten am Ende im Suchindex landen, entscheidet die Indexierung an anderer Stelle, und die Verwechslung beider Ebenen gehört zu den hartnäckigsten Irrtümern im technischen SEO.

Was ist robots.txt?

robots.txt ist eine Textdatei im Stammverzeichnis einer Website (https://domain.tld/robots.txt), die Webcrawlern mitteilt, welche URL-Pfade sie abrufen dürfen und welche nicht. Sie setzt den Robots Exclusion Standard um, einen Vorschlag des ALIWEB-Entwicklers aus dem Februar 1994 (Wikipedia).

Seit September 2022 ist der Standard als RFC 9309 im Standards Track der IETF veröffentlicht (Proposed Standard). Google beschreibt den Zweck der Datei als Verwaltung des Crawler-Traffics und stellt in der eigenen Dokumentation klar: „Sinn und Zweck von robots.txt-Dateien ist es nicht, Webseiten aus der Google Suche auszuschließen“ (Google Search Central).

Wie funktioniert robots.txt?

Vor jedem Seitenaufruf lädt ein kooperierender Crawler zuerst die robots.txt der Domain. Die Datei besteht aus Gruppen – jede beginnt mit einer User-agent-Zeile und listet darunter Regeln vom Typ Disallow und Allow für genau diesen Bot oder für alle Bots (User-agent: *). Treffen mehrere Regeln auf eine Anfrage zu, gewinnt nach RFC 9309 die genaueste Übereinstimmung, unabhängig von ihrer Position in der Datei.

Optional folgt eine Sitemap-Zeile mit der vollständig qualifizierten Adresse der XML-Sitemap. Die Datei selbst gehört ins Stammverzeichnis des Website-Hosts; ein Unterverzeichnis erkennt kein Crawler als gültigen Speicherort an.

Ein Beispiel für einen Hersteller mit Produktkonfigurator und internem Bereich:

User-agent: *
Disallow: /konfigurator/session/
Disallow: /intern/

Sitemap: https://beispiel-hersteller.de/sitemap.xml

Der Konfigurator-Pfad erzeugt pro Sitzung eine eigene URL – für den Suchindex hat keine davon einen Wert. Die Sperre verhindert, dass der Crawler dort Kapazität verbraucht, die sonst den Produktseiten zugutekäme, siehe Crawl-Budget.

Was robots.txt nicht bedeutet: Crawling ist keine Indexierungs-Sperre

Ein Disallow-Eintrag hält den Crawler von einer URL fern und sagt über deren Index-Eintrag nichts. Google formuliert das ausdrücklich: „[…] es ist dennoch möglich, dass nicht zugelassene URLs gefunden und indexiert werden, wenn von anderen Orten im Internet auf sie verwiesen wird“. Eine solche URL erscheint dann ohne Snippet im Index, sichtbar bleibt die nackte Adresse.

Ein verwandter Irrtum betrifft die Kombination selbst. Manche Teams tragen noindex direkt als Regel in der robots.txt ein, in der Annahme, das verstärke die Sperre. Google hat die Unterstützung für nicht dokumentierte Regeln wie noindex, nofollow und crawl-delay am 1. September 2019 eingestellt (Google Search Central Blog); ein solcher Eintrag bleibt seither wirkungslos.

Werkzeug	Ebene	Wirkung	Typischer Einsatz
robots.txt	Crawling, vor dem Abruf	Bittet kooperierende Crawler, einen Pfad nicht abzurufen; keine verlässliche Indexierungs-Sperre	Crawl-Budget schonen, wertlose URL-Mengen vom Crawling ausnehmen
noindex	Indexierung, nach dem Abruf	Verhindert die Aufnahme in den Suchindex, setzt aber Crawling voraus	Einzelne Seiten dauerhaft aus der Suche fernhalten
Canonical Tag	Kanonisierung, nach dem Abruf	Bündelt Ranking-Signale mehrerer URLs auf einer Version	Duplikate durch Parameter oder Tracking konsolidieren

Verhindert robots.txt, dass eine Seite bei Google erscheint?

Ein Disallow-Eintrag verhindert das nicht zuverlässig. Er unterbindet den Abruf durch den Crawler. Verweist eine andere Website auf die gesperrte URL, kann Google sie trotzdem ohne Inhalt indexieren. Zuverlässig aus der Suche verschwindet eine Seite über noindex, einen HTTP-Statuscode wie 404 oder 410, oder eine echte Zugriffssperre.

Die Datei ist zudem öffentlich einsehbar – jeder Browser zeigt sie unter /robots.txt an. Wer sensible Pfade dort einträgt, um sie zu verstecken, veröffentlicht stattdessen ihre Adresse.

robots.txt und SEO: Warum wichtig?

robots.txt steuert die Eingangsstufe jeder Sichtbarkeit. Ein Pfad, den der Crawler nicht anfragen darf, kommt für eine Bewertung gar nicht erst infrage.

Crawling-Steuerung als Grundfunktion: Die Datei bündelt Zugriffsregeln für alle Bots einer Domain an einer zentralen Stelle.
Keine Indexierungs-Garantie in beide Richtungen: Weder sperrt robots.txt eine Seite zuverlässig aus dem Index, noch garantiert eine erlaubte URL, dass Google sie crawlt und aufnimmt.
KI-Crawler brauchen eigene Blöcke: GPTBot, ClaudeBot und Google-Extended folgen eigenen User-agent-Zeilen; Google-Extended steuert dabei die Nutzung für Gemini-Anwendungen und wirkt sich auf Aufnahme und Ranking in der Google-Suche nicht aus (mehr dazu unter AI Crawler).
Crawl-Budget-Hebel bei großen Katalogen: Parameter- und Filter-Varianten lassen sich per Disallow vom Crawling ausnehmen und schonen so das Crawl-Budget für Seiten mit Geschäftswert, etwa bei Programmatic SEO für B2B-Kataloge.
B2B-Relevanz mit Augenmaß: Für schlanke Firmenwebsites bleibt die Konfiguration ein Fünf-Zeilen-Thema. Anspruchsvoll wird sie bei Katalogen mit vielen Filter-Kombinationen und bei gezielter KI-Crawler-Steuerung.

Haben Sie zuletzt geprüft, welche Pfade Ihre robots.txt aktuell sperrt, und ob diese Sperren noch zur heutigen Seitenstruktur passen?

robots.txt in der Praxis: Prüfen statt vermuten

Die robots.txt gehört zu den Dateien, die einmal angelegt und danach jahrelang nicht mehr angesehen werden. Drei Kontrollpunkte verhindern, dass sie unbemerkt zum Sichtbarkeits-Risiko wird.

Die aktuelle Konfiguration direkt prüfen

Die schnellste Kontrolle ruft https://domain.tld/robots.txt im Browser auf; die Datei ist immer öffentlich lesbar. Ergänzend zeigt der robots.txt-Bericht der Google Search Console, welche Fassung Google zuletzt gelesen hat.

KI-Crawler getrennt von der Suchmaschinen-Sperre behandeln

Wer pauschal User-agent: * mit Disallow: / gegen KI-Trainings-Crawler vorgeht, sperrt oft zugleich die Retrieval-Bots hinter Zitationen in ChatGPT oder Perplexity. GPTBot, ClaudeBot und vergleichbare Bots verdienen deshalb eigene, benannte Blöcke statt einer Sammelregel.

Nach einem Relaunch gegen die neue Struktur abgleichen

Bei einem Website-Relaunch wandert eine restriktive Staging-Regel gelegentlich unbeabsichtigt ins Produktivsystem. Ein Abgleich der Disallow-Pfade gegen die neue Sitemap gehört deshalb auf jede Go-Live-Checkliste.

Fazit & Takeaways

Zuständigkeit sauber trennen: Eine per robots.txt gesperrte URL kann im Index landen, wenn sie extern verlinkt ist. Für einen verlässlichen Ausschluss setzen Sie noindex oder liefern 404 beziehungsweise 410 aus.
noindex gehört nicht in die robots.txt: Google ignoriert diese Regel seit September 2019 vollständig. Die Direktive gehört als Meta-Tag oder HTTP-Header auf die einzelne Seite.
KI-Crawler getrennt konfigurieren: Eine Sammelregel gegen alle Bots trifft auch die Retrieval-Crawler, die für Zitationen in KI-Antworten sorgen. Training und Retrieval verdienen eigene Blöcke.

Häufige Fragen (FAQ)

Was ist eine robots.txt-Datei?

Die robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Crawlern mitteilt, welche URL-Pfade sie abrufen dürfen und welche nicht. Sie setzt den Robots Exclusion Standard um, den RFC 9309 seit September 2022 im Standards Track der IETF beschreibt. Google nennt als Hauptzweck die Verwaltung des Crawler-Traffics.

Verhindert eine robots.txt-Datei, dass eine Seite im Google-Index erscheint?

Ein Disallow-Eintrag verhindert das nicht zuverlässig. Google crawlt gesperrte Inhalte zwar nicht, kann eine gesperrte URL aber trotzdem finden und ohne Inhalt indexieren, wenn andere Seiten darauf verweisen. Für einen zuverlässigen Ausschluss aus der Suche ist die noindex-Direktive das passende Werkzeug.

Kann ich eine Seite per noindex in der robots.txt aus dem Index nehmen?

Nein. Google hat die Unterstützung für nicht dokumentierte robots.txt-Regeln wie noindex, nofollow und crawl-delay am 1. September 2019 eingestellt. Ein noindex-Eintrag in der robots.txt wirkt seither nicht mehr; die Direktive gehört stattdessen als Meta-Tag oder HTTP-Header auf die einzelne Seite.

Wo muss die robots.txt-Datei liegen?

Die Datei muss laut Google im Stammverzeichnis des Website-Hosts liegen, etwa unter https://beispiel.de/robots.txt. Ein Unterverzeichnis erkennt kein Crawler als gültigen Speicherort an. Pro Domain oder Subdomain gilt genau eine robots.txt am Root-Pfad.

Muss jede Website eine robots.txt-Datei haben?

Eine Pflicht besteht nicht. Fehlt die Datei oder liefert der Server einen 404-Fehler, gehen kooperierende Crawler von einer uneingeschränkten Crawling-Erlaubnis aus. Sinnvoll wird eine robots.txt, sobald einzelne Pfade wie interne Bereiche, Session-URLs oder Filter-Kombinationen gezielt vom Crawling ausgenommen werden sollen.

Ist robots.txt ein verbindlicher Standard?

RFC 9309 formuliert Regeln, die Crawler befolgen sollen, ohne eine technisch erzwingbare Pflicht zu schaffen. Seriöse Suchmaschinen- und KI-Crawler halten sich an die Vorgaben, bösartige Bots wie E-Mail-Harvester oder Scraper ignorieren sie regelmäßig. Ein Zugriffsschutz entsteht erst durch IP-Sperren, Authentifizierung oder eine Web Application Firewall.

robots.txt: Aufbau, Wirkung und die Grenze zur Indexierung