Antwort
RFC 9309 legt fest, dass ein Crawler passende Allow- und Disallow-Regeln gegen den URI-Pfad abgleicht und grundsätzlich die spezifischste passende Regel verwendet. Bei gleich spezifischen Allow- und Disallow-Regeln soll Allow Vorrang erhalten.
Was kannst du als Nächstes tun?
Teste robots.txt mit den tatsächlich eingesetzten User-Agent-Gruppen und Pfaden und behandle die Datei nicht als Zugriffsschutz für vertrauliche Inhalte.