Görünmez Karakter Dedektörü

Görünmez karakterler, boşluk olarak görüntülenen veya görünür alan kaplamayan ancak teknik olarak normal boşluktan farklı olan Unicode kod noktalarıdır. Web sayfalarından, PDF'lerden, elektronik tablolardan ve dışa aktarılan veritabanı alanlarından kopyalanan verilerde sıkça görülürler.

Bu araç tarafından algılanan yaygın türler:

• NBSP (U+00A0) - normal boşlukla görsel olarak aynıdır ancak farklı bir karakterdir; HTML editörleri ve kelime işlemciler tarafından eklenir
• ZWS (U+200B) - tamamen görünmez, alan kaplamaz; eşleşmeyen "aynı" satırların 1 numaralı nedeni
• ZWJ / ZWNJ - bitişik karakterlerin birleşip birleşmeyeceğini kontrol eder; Arapça, Farsça ve emoji dizilerinde yaygındır
• BOM (U+FEFF) - Windows Notepad, Excel ve PowerShell tarafından dosya başına eklenir; ilk satırın hiçbir zaman eşleşmemesine neden olur
• CR (U+000D) - satır başı; Windows CRLF satır sonlarının bir parçasıdır, sondaki karakter uyumsuzluklarına neden olur
• TAB (U+0009) - yatay sekme; TSV dosyalarından, kod editörlerinden ve terminal kopyala-yapıştırdan gelir

Normal boşluk (U+0020) ve bölünmez boşluk (U+00A0) görsel olarak aynıdır ancak tamamen farklı karakter kodlarına sahiptir. Listeleri karşılaştırırken, sonunda NBSP bulunan bir öğe, aynı öğeyle normal boşlukla eşleşmez - her ikisi de ekranda aynı görünse bile.

Sıfır genişlikli boşlukları tespit etmek daha da zordur: görünür alan kaplamazlar, bu nedenle bir karşılaştırma veya veritabanı araması beklenmedik şekilde başarısız olana kadar varlıklarına dair görsel bir ipucu yoktur.

Bu araç, her görünmez karakterin tam olarak nerede gizlendiğini ortaya çıkarır, böylece karşılaştırmadan önce verilerinizi temizleyebilirsiniz.

En yaygın kaynaklar şunlardır:

• Web sayfaları - HTML, düzen için sıkça NBSP (  varlığı) kullanır; bir web sitesinden yapılan her kopyalama bunları getirebilir
• PDF'ler - Metin çıkarılırken boşluk ve satır sonları genellikle tutarsızdır
• Elektronik tablolar - Excel ve Google Sheets bazen biçimlendirilmiş hücrelere ZWS ekler
• Veritabanı dışa aktarmaları - bazı veritabanları, kaynak uygulamalarından metin alanlarındaki NBSP'yi korur
• Mobil klavyeler - bazıları noktalama işaretlerinden sonra normal boşluk yerine NBSP ekler
• Kelime işlemciler - Microsoft Word ve benzer uygulamalar, biçimlendirilmiş metinde bölünmez boşluklar kullanır

1. Metninizi giriş kutusuna yapıştırın. Açıklamalı panel, her görünmez karakteri renkli bir rozet olarak gösterir (örn. [NBSP], [ZWS]), böylece tam olarak nerede göründüklerini görebilirsiniz.
2. Aşağıdaki Temizlendi panelinden kopyalayın; bu panel, tüm görünmez karakterleri çıkarılmış aynı metni gösterir.

Sürekli veri temizleme için, Liste Veri Temizleyici de özel bir "Görünmez karakterleri kaldır" seçeneğine sahiptir.

Bölünmez boşluk (U+00A0), normal boşlukla görsel olarak aynıdır ancak farklı bir karakter koduna sahiptir (160 vs. 32). Başlangıçta bitişik kelimeleri aynı satırda tutmak için tasarlanmıştır - örneğin, "100 km"nin satır sonunda bölünmesini önlemek için.

Nereden geliyor: HTML editörleri (  varlığı), Microsoft Word gibi kelime işlemciler ve bazı mobil klavyeler noktalama işaretlerinden sonra ekler.

Neden sorun çıkarır: Herhangi bir tam dize karşılaştırması, NBSP'yi normal boşluktan farklı olarak değerlendirir ve liste karşılaştırmalarında, veritabanı aramalarında ve içe aktarmalarda beklenmedik uyumsuzluklara neden olur - metin ekranda aynı görünse bile.

Sıfır genişlikli boşluk (U+200B) hiç görünür alan kaplamaz - göze tamamen görünmezdir. Başlangıçta kelimeler arasında boşluk kullanmayan yazılarda (Tayca veya CJK metni gibi) isteğe bağlı satır kesme noktalarını işaretlemek için tasarlanmıştır.

Nereden geliyor: Web sayfalarından kazınan metin, belirli CMS platformlarından içerik (WordPress bazen bunları ekler) ve zengin metin biçimlerinden dönüştürülen belgeler.

Neden sorun çıkarır: Görünmez olduğundan, bir karşılaştırma, veritabanı araması veya içe aktarma beklenmedik şekilde başarısız olana kadar varlığını bilemezsiniz. Eşleşmeyi reddeden "aynı" satırların en yaygın nedenidir.

Evet - görünmez karakterleri önceden temizlemek, İki Listeyi Karşılaştır veya Çoklu Liste Karşılaştır araçlarını kullanmadan önce en iyi hazırlık adımlarından biridir.

Bu araçtan temizlenmiş çıktıyı kopyalayın ve karşılaştırma aracına yapıştırın. Her iki araç da satır sınırlarındaki NBSP'yi yakalayan "Baş/son boşlukları yoksay" seçeneğine sahiptir - ancak Görünmez Karakter Dedektörü daha kapsamlıdır: bir satırda nerede görünürse görünsün tüm görünmez karakterleri bulur ve kaldırır.