Unsichtbare-Zeichen-Detektor

Unsichtbare Zeichen sind Unicode-Codepunkte, die als Leerzeichen dargestellt werden oder keinen sichtbaren Platz einnehmen, technisch jedoch anders sind als ein reguläres Leerzeichen. Sie treten häufig in Daten auf, die von Webseiten, PDFs, Tabellenkalkulationen und exportierten Datenbankfeldern kopiert wurden.

Häufige Typen, die von diesem Tool erkannt werden:

• NBSP (U+00A0) - sieht identisch wie ein reguläres Leerzeichen aus, ist aber ein anderes Zeichen; wird von HTML-Editoren und Textverarbeitungsprogrammen eingefügt
• ZWS (U+200B) - völlig unsichtbar, nimmt keinen Platz ein; Hauptursache für "identische" Zeilen, die nicht übereinstimmen
• ZWJ / ZWNJ - steuern, ob benachbarte Zeichen verbunden werden; häufig in Arabisch, Persisch und Emoji-Sequenzen
• BOM (U+FEFF) - von Windows Notepad, Excel und PowerShell an den Dateianfang gestellt; bewirkt, dass die erste Zeile nie übereinstimmt
• CR (U+000D) - Wagenrücklauf; Teil der Windows-CRLF-Zeilenenden, verursacht Abweichungen durch abschließende Zeichen
• TAB (U+0009) - horizontaler Tabulator; aus TSV-Dateien, Code-Editoren und Terminal-Copy-Paste

Ein reguläres Leerzeichen (U+0020) und ein geschütztes Leerzeichen (U+00A0) sind visuell identisch, haben aber völlig unterschiedliche Zeichencodes. Beim Vergleich von Listen stimmt ein Element mit einem abschließenden NBSP nicht mit demselben Element mit einem regulären Leerzeichen überein - auch wenn beide auf dem Bildschirm identisch aussehen.

Nullbreite-Leerzeichen sind noch schwerer zu erkennen: Sie nehmen überhaupt keinen sichtbaren Platz ein, sodass es keinen visuellen Hinweis auf ihre Anwesenheit gibt, bis ein Vergleich oder eine Datenbankabfrage unerwartet fehlschlägt.

Dieses Tool zeigt genau, wo sich jedes unsichtbare Zeichen versteckt, damit Sie Ihre Daten vor dem Vergleich bereinigen können.

Die häufigsten Quellen sind:

• Webseiten - HTML verwendet häufig NBSP (die  -Entität) für das Layout; jedes Kopieren von einer Website kann sie einbringen
• PDFs - Abstände und Zeilenenden sind bei der Textextraktion oft inkonsistent
• Tabellenkalkulationen - Excel und Google Sheets fügen manchmal ZWS in formatierten Zellen ein
• Datenbankexporte - einige Datenbanken bewahren NBSP in Textfeldern ihrer Quellanwendungen
• Mobile Tastaturen - einige fügen NBSP statt eines regulären Leerzeichens nach Satzzeichen ein
• Textverarbeitungsprogramme - Microsoft Word und ähnliche Apps verwenden geschützte Leerzeichen in formatiertem Text

1. Fügen Sie Ihren Text in das Eingabefeld ein. Das kommentierte Panel zeigt jedes unsichtbare Zeichen als farbiges Abzeichen (z. B. [NBSP], [ZWS]), damit Sie genau sehen, wo sie erscheinen.
2. Kopieren Sie aus dem Panel Bereinigt unten, das denselben Text mit allen entfernten unsichtbaren Zeichen zeigt.

Für die laufende Datenbereinigung verfügt der Listen-Datenbereiniger ebenfalls über eine dedizierte Option "Unsichtbare Zeichen entfernen".

Ein geschütztes Leerzeichen (U+00A0) sieht einem regulären Leerzeichen identisch aus, hat aber einen anderen Zeichencode (160 vs. 32). Es wurde ursprünglich entwickelt, um benachbarte Wörter in derselben Zeile zu halten - beispielsweise um zu verhindern, dass "100 km" an einem Zeilenumbruch getrennt wird.

Woher es kommt: HTML-Editoren (die  -Entität), Textverarbeitungsprogramme wie Microsoft Word und einige mobile Tastaturen, die es nach Satzzeichen einfügen.

Warum es Probleme verursacht: Jeder exakte Zeichenkettenvergleich behandelt NBSP als verschieden von einem regulären Leerzeichen, was zu unerwarteten Abweichungen bei Listenvergleichen, Datenbankabfragen und Importen führt - auch wenn der Text auf dem Bildschirm identisch aussieht.

Ein Nullbreite-Leerzeichen (U+200B) nimmt überhaupt keinen sichtbaren Platz ein - es ist für das Auge völlig unsichtbar. Es wurde ursprünglich entwickelt, um optionale Zeilenumbruchstellen in Schriften zu markieren, die keine Leerzeichen zwischen Wörtern verwenden (wie Thai oder CJK-Text).

Woher es kommt: Text, der von Webseiten abgekratzt wurde, Inhalte von bestimmten CMS-Plattformen (WordPress fügt sie manchmal ein) und Dokumente, die aus Rich-Text-Formaten konvertiert wurden.

Warum es Probleme verursacht: Da es unsichtbar ist, gibt es keine Möglichkeit zu wissen, dass es vorhanden ist, bis ein Vergleich, eine Datenbankabfrage oder ein Import unerwartet fehlschlägt. Es ist die häufigste Ursache für "identische" Zeilen, die nicht übereinstimmen.

Ja - das Bereinigen unsichtbarer Zeichen zuerst ist einer der besten Vorbereitungsschritte vor der Verwendung der Tools Zwei Listen vergleichen oder Mehrere Listen vergleichen.

Kopieren Sie die bereinigte Ausgabe dieses Tools und fügen Sie sie in das Vergleichs-Tool ein. Beide Tools haben auch eine Option "Führende/nachfolgende Leerzeichen ignorieren", die NBSP an Zeilengrenzen erkennt - aber der Unsichtbare-Zeichen-Detektor ist gründlicher: Er findet und entfernt alle unsichtbaren Zeichen, unabhängig davon, wo sie in einer Zeile erscheinen.