CRISIS26Fragen & Antworten

Computer & Internet

Wie entscheidet ein standardkonformer Crawler anhand von robots.txt, ob ein URI-Pfad erlaubt ist?

Antwort

RFC 9309 legt fest, dass ein Crawler passende Allow- und Disallow-Regeln gegen den URI-Pfad abgleicht und grundsätzlich die spezifischste passende Regel verwendet. Bei gleich spezifischen Allow- und Disallow-Regeln soll Allow Vorrang erhalten.

Was kannst du als Nächstes tun?

Teste robots.txt mit den tatsächlich eingesetzten User-Agent-Gruppen und Pfaden und behandle die Datei nicht als Zugriffsschutz für vertrauliche Inhalte.

Quellen & Stand

Inhaltlich geprüft: