Glossar · Website & Technik

robots.txt: Die Hausordnung für Suchmaschinen

Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website, die Suchmaschinen und anderen Programmen mitteilt, welche Bereiche sie durchsuchen dürfen und welche nicht.

Was ist robots.txt?

Bevor Google eine Website durchsucht, schaut es in eine kleine Datei namens robots.txt. Sie funktioniert wie ein Schild an der Werkstatttür: „Hier rein, dort bitte nicht.“ Seriöse Suchmaschinen halten sich daran. Ein Schloss ist sie nicht, wer sich nicht an Regeln hält, ignoriert sie.

Typische Einträge sind:

  • welche Programme gemeint sind, etwa alle oder nur der Googlebot
  • welche Ordner tabu sind, etwa der Login-Bereich
  • wo die Sitemap liegt, also das Verzeichnis aller Seiten

Der häufigste Fehler passiert beim Umzug: Während des Baus wird die Seite gesperrt, und nach dem Start vergisst jemand, die Sperre aufzuheben. Dann wundert sich der Betrieb monatelang, warum Google ihn nicht findet. Auch Dienste wie Cloudflare können eigene Regeln davorsetzen, die im Code nirgends stehen.

Ob deine robots.txt Google oder KI-Programme versehentlich aussperrt, prüft unser kostenloser Website-Audit.

Die robots.txt ist besonders wichtig für alle, deren Website nach einem Relaunch plötzlich nicht mehr bei Google erscheint.

Häufige Fragen zu robots.txt

Ist eine robots.txt sinnvoll?

Für die meisten kleinen Websites reicht eine kurze Datei, die alles erlaubt und auf die Sitemap verweist. Gefährlich ist eher eine falsche robots.txt als eine fehlende: Eine einzige Zeile kann Google von der ganzen Website aussperren.

Wie kann ich die robots.txt einer Website sehen?

Hänge /robots.txt an die Adresse an, also zum Beispiel deine-firma.de/robots.txt. Die Datei ist öffentlich und für jeden lesbar. Steht dort „Disallow: /“, ist die gesamte Seite für Suchmaschinen gesperrt.

Kann ich mit der robots.txt eine Seite aus Google entfernen?

Nicht zuverlässig. Die Datei verbietet nur das Besuchen, nicht die Aufnahme ins Suchergebnis. Ist eine gesperrte Seite anderswo verlinkt, kann sie trotzdem bei Google auftauchen. Dafür gibt es die Anweisung noindex oder einen Passwortschutz.

Verwandte Begriffe