Onzichtbare Tekens Detector

Onzichtbare tekens zijn Unicode-codepunten die als witruimte worden weergegeven of geen zichtbare ruimte innemen, maar technisch gezien anders zijn dan een gewone spatie. Ze komen vaak voor in gegevens die zijn gekopieerd van webpagina's, PDF's, spreadsheets en geëxporteerde databasevelden.

Veelvoorkomende typen die door dit hulpmiddel worden gedetecteerd:

• NBSP (U+00A0) - ziet er identiek uit als een gewone spatie, maar is een ander teken; ingevoegd door HTML-editors en tekstverwerkingsprogramma's
• ZWS (U+200B) - volledig onzichtbaar, neemt geen ruimte in; de hoofdoorzaak van "identieke" regels die niet overeenkomen
• ZWJ / ZWNJ - bepalen of aangrenzende tekens samengevoegd worden; komen vaak voor in Arabisch, Perzisch en emoji-reeksen
• BOM (U+FEFF) - door Windows Kladblok, Excel en PowerShell aan het begin van bestanden toegevoegd; zorgt ervoor dat de eerste regel nooit overeenkomt
• CR (U+000D) - regelterugkeer; onderdeel van Windows CRLF-regelafsluitingen, veroorzaakt discrepanties door afsluitende tekens
• TAB (U+0009) - horizontale tab; afkomstig van TSV-bestanden, code-editors en kopiëren vanuit terminal

Een gewone spatie (U+0020) en een vaste spatie (U+00A0) zijn visueel identiek, maar hebben volledig verschillende tekenodes. Bij het vergelijken van lijsten komt een item met een afsluitende NBSP niet overeen met hetzelfde item met een gewone spatie - ook al zien beide er identiek uit op het scherm.

Spaties met nulbreedte zijn nog moeilijker te detecteren: ze nemen helemaal geen zichtbare ruimte in, dus er is geen visuele aanwijzing van hun aanwezigheid totdat een vergelijking of databaseopzoeking onverwacht mislukt.

Dit hulpmiddel onthult precies waar elk onzichtbaar teken zich verstopt, zodat u uw gegevens kunt opschonen vóór het vergelijken.

De meest voorkomende bronnen zijn:

• Webpagina's - HTML gebruikt vaak NBSP (de  -entiteit) voor opmaak; elk kopiëren van een website kan ze meebrengen
• PDF's - spatiëring en regelafsluitingen zijn vaak inconsistent bij het extraheren van tekst
• Spreadsheets - Excel en Google Sheets voegen soms ZWS in bij opgemaakte cellen
• Database-exports - sommige databases bewaren NBSP in tekstvelden van hun bronapplicaties
• Mobiele toetsenborden - sommige voegen NBSP in plaats van een gewone spatie in na leestekens
• Tekstverwerkingsprogramma's - Microsoft Word en vergelijkbare apps gebruiken vaste spaties in opgemaakte tekst

1. Plak uw tekst in het invoervak. Het geannoteerde paneel toont elk onzichtbaar teken als een gekleurde badge (bijv. [NBSP], [ZWS]), zodat u precies kunt zien waar ze voorkomen.
2. Kopieer uit het paneel Opgeschoond hieronder, dat dezelfde tekst toont met alle onzichtbare tekens verwijderd.

Voor doorlopende gegevensopschoning heeft de Lijst Gegevensopschoner ook een speciale optie "Onzichtbare tekens verwijderen".

Een vaste spatie (U+00A0) ziet er identiek uit als een gewone spatie, maar heeft een andere tekencode (160 vs 32). Het werd oorspronkelijk ontworpen om aangrenzende woorden op dezelfde regel te houden - bijvoorbeeld om te voorkomen dat "100 km" op een regelovergang wordt gesplitst.

Waar het vandaan komt: HTML-editors (de  -entiteit), tekstverwerkingsprogramma's zoals Microsoft Word en sommige mobiele toetsenborden die het na leestekens invoegen.

Waarom het problemen veroorzaakt: Elke exacte tekenreeksvergelijking behandelt NBSP als verschil van een gewone spatie, wat onverwachte discrepanties veroorzaakt bij lijstvergelijkingen, databaseopzoekingen en imports - zelfs wanneer de tekst er op het scherm identiek uitziet.

Een spatie met nulbreedte (U+200B) neemt helemaal geen zichtbare ruimte in - het is volledig onzichtbaar voor het oog. Het werd oorspronkelijk ontworpen om optionele regelafbreekpunten in schriften te markeren die geen spaties tussen woorden gebruiken (zoals Thais of CJK-tekst).

Waar het vandaan komt: Tekst verzameld van webpagina's, content van bepaalde CMS-platforms (WordPress voegt ze soms in) en documenten omgezet van RTF-formaten.

Waarom het problemen veroorzaakt: Omdat het onzichtbaar is, is er geen manier om te weten dat het aanwezig is totdat een vergelijking, databaseopzoeking of import onverwacht mislukt. Het is de meest voorkomende oorzaak van "identieke" regels die weigeren overeen te komen.

Ja - onzichtbare tekens eerst opschonen is een van de beste voorbereidingsstappen vóór het gebruik van de hulpmiddelen Twee lijsten vergelijken of Meerdere lijsten vergelijken.

Kopieer de opgeschoonde uitvoer van dit hulpmiddel en plak deze in het vergelijkingshulpmiddel. Beide hulpmiddelen hebben ook een optie "Voorloop-/volgspaties negeren" die NBSP aan regelgrenzen detecteert - maar de Onzichtbare Tekens Detector is grondiger: het vindt en verwijdert alle onzichtbare tekens ongeacht waar ze in een regel voorkomen.