Antwort
Unicode Text Segmentation definiert Regeln für Standardgrenzen zwischen Graphemclustern, Wörtern und Sätzen. Unterschiedliche Schriftsysteme und Satzzeichen machen eine reine Suche nach Leerzeichen unzureichend, und die Standardregeln können für sprach- oder anwendungsspezifische Anforderungen angepasst werden.
Was kannst du als Nächstes tun?
Nutze für Cursor-, Such- oder Tokenisierungsfunktionen eine Unicode-konforme Segmentierungsbibliothek und teste Sprachen, die Wörter nicht regelmäßig durch Leerzeichen trennen.