CRISIS26Fragen & Antworten

Cybersicherheit & Datenschutz

Robots.txt: Kann eine Disallow-Regel eine bereits bekannte URL sicher aus dem Suchindex entfernen?

Antwort

Nein. robots.txt steuert primär das Crawling, nicht die Indexierung; eine gesperrte URL kann anhand externer Signale weiterhin erscheinen. Zum Entfernen ist eine crawlbare noindex-Anweisung oder ein passender HTTP-Status nötig. Fazit: Disallow ist kein verlässlicher Deindexierungsbefehl.

Was kannst du als Nächstes tun?

Wähle je Ziel zwischen Crawl-Steuerung, noindex, Redirect oder 404/410 und teste die konkrete URL mit den Suchmaschinen-Werkzeugen.

Quellen & Stand

Inhaltlich geprüft: