CRISIS26Fragen & Antworten

Cybersicherheit & Datenschutz

Noindex: Darf dieselbe URL gleichzeitig durch robots.txt blockiert werden?

Antwort

Wenn Google die Seite wegen robots.txt nicht crawlen darf, kann der Crawler das noindex-Meta-Tag oder den entsprechenden Header nicht sehen. Die URL kann dann weiterhin ohne Inhaltsdetails erscheinen. Fazit: Für eine wirksame noindex-Anweisung muss die URL crawlbar bleiben.

Was kannst du als Nächstes tun?

Entferne für noindex-Seiten die robots.txt-Sperre, liefere 200 mit noindex und kontrolliere später, ob die URL aus dem Index verschwunden ist.

Quellen & Stand

Inhaltlich geprüft: