Robots.txt vs. Noindex: Was ist der Unterschied (und wann verwendet man was)

Sie lösen zwei verschiedene Probleme

robots.txt steuert das Crawling — ob der Bot einer Suchmaschine überhaupt eine URL abrufen darf. Ein noindex-Tag steuert die Indexierung — ob eine Seite, die gecrawlt wurde, in den Suchergebnissen erscheinen darf. Diese beiden zu verwechseln ist einer der häufigsten Gründe, warum eine Seite in den Suchergebnissen hängen bleibt, obwohl sie verschwinden sollte, oder unsichtbar bleibt, obwohl sie gefunden werden sollte.

Was robots.txt tatsächlich tut

Eine Disallow-Regel in robots.txt bittet wohlerzogene Crawler, eine URL nicht abzurufen. Sie entfernt keine bereits indexierte Seite. Hat Google eine URL indexiert, bevor sie blockiert wurde — oder sie von anderswo verlinkt gefunden und nur die URL und den Ankertext indexiert, ohne die Seite je abzurufen — kann diese URL unbegrenzt weiter in den Ergebnissen erscheinen, meist ohne Titel oder Beschreibung, da Google die Sperre respektiert und sie nie erneut crawlt, um es zu prüfen.

Was noindex tatsächlich tut

Ein <meta name="robots" content="noindex">-Tag (oder der entsprechende X-Robots-Tag-HTTP-Header) teilt einem Crawler, der die Seite bereits abgerufen hat, explizit mit: Sie dürfen das lesen, nehmen Sie es nur nicht in Ihren Index auf. Das ist der zuverlässige Weg, eine Seite aus den Suchergebnissen zu entfernen — aber nur, wenn der Crawler die Seite überhaupt abrufen und das Tag sehen darf.

Der klassische Fehler: eine Seite blockieren, die auch noindex ist

Ist eine URL in robots.txt gesperrt und hat ein noindex-Tag, wird das noindex-Tag nie gelesen — dem Crawler wurde gesagt, die Seite überhaupt nicht abzurufen, also sieht er die Anweisung auf dieser Seite nie. Die Seite kann indexiert bleiben (falls sie es schon war, oder von anderswo verlinkt wird), ohne dass Google es anders erfahren kann, da das Entfernen das Lesen eines Tags erfordert, das ihm zu lesen verwehrt wurde. Das ist eine wirklich häufige Art, wie Websites versehentlich wenig wertvolle Seiten monatelang in den Suchergebnissen festhalten.

Wann robots.txt verwenden

• Crawl-Budget auf großen Websites verwalten — Crawler von wenig wertvollen, sehr umfangreichen Pfaden fernhalten (interne Suchergebnisse, facettierte Filterkombinationen), damit sie mehr Zeit auf Seiten verbringen, die zählen.
• Staging-Umgebungen, Admin-Routen und API-Endpunkte komplett blockieren.
• Seiten, die Sie nie gecrawlt haben möchten — nicht einmal um ihren Inhalt zu prüfen — da das Crawlen selbst auf beiden Seiten Ressourcen verbraucht.

Wann noindex verwenden

• Seiten, die existieren und crawlbar sein sollen — für interne Verlinkung, für Nutzer, für die Seitenstruktur — aber nie in den Suchergebnissen erscheinen sollen: Tag-/Kategorie-Archive, paginierte Seiten jenseits der ersten, Danke-Seiten.
• Dünner oder doppelter Inhalt, den Sie nicht komplett löschen möchten, der aber weiterhin für Besucher und interne Tools zugänglich bleiben soll.
• Eine bereits indexierte Seite entfernen — das funktioniert nur, wenn die Seite crawlbar bleibt, damit Google das Tag tatsächlich sehen kann.

Schnelle Entscheidungsregel

Fragen Sie sich: Muss ein Crawler diese Seite lesen, um zu wissen, was er damit tun soll? Hängt die Anweisung davon ab, dass der eigene Inhalt der Seite gesehen wird (wie ein noindex-Tag), muss robots.txt das Crawlen erlauben. Wollen Sie das Crawlen selbst verhindern — unabhängig davon, was auf der Seite steht — ist robots.txt das richtige Werkzeug, und noindex ist überflüssig, da es ohnehin nie gelesen wird. Für Inhalte, die crawlbar und doppelt statt gänzlich unerwünscht sind, passt oft ein Canonical-Tag besser als beides.