Detector ng Mga Nakatagong Karakter

Ang mga nakatagong karakter ay mga Unicode code point na ipinapakita bilang whitespace o hindi sumasakop ng nakikitang espasyo, ngunit teknikal na iba sa isang regular na espasyo. Madalas itong lumabas sa data na kinopya mula sa mga web page, PDF, spreadsheet, at mga na-export na field ng database.

Mga karaniwang uri na nadi-detect ng tool na ito:

• NBSP (U+00A0) - kapareho ng hitsura ng regular na espasyo ngunit iba ang karakter; ini-insert ng mga HTML editor at word processor
• ZWS (U+200B) - ganap na hindi nakikita, hindi sumasakop ng espasyo; pangunahing dahilan ng "magkaparehong" linya na hindi nagtutugma
• ZWJ / ZWNJ - kinokontrol kung ang mga magkakatabi na karakter ay magsamasama; karaniwan sa Arabic, Persian, at emoji sequence
• BOM (U+FEFF) - idinaragdag sa simula ng mga file ng Windows Notepad, Excel, at PowerShell; nagdudulot ng hindi pagkakatugma ng unang linya
• CR (U+000D) - carriage return; bahagi ng Windows CRLF line ending, nagdudulot ng hindi pagtutugma ng trailing character
• TAB (U+0009) - horizontal tab; mula sa mga TSV file, code editor, at copy-paste mula sa terminal

Ang regular na espasyo (U+0020) at ang non-breaking space (U+00A0) ay magkaparehong hitsura ngunit may ganap na magkaibang character code. Sa paghahambing ng mga listahan, ang isang item na may NBSP sa dulo ay hindi magtutugma sa parehong item na may regular na espasyo - kahit pareho silang hitsura sa screen.

Mas mahirap pa itukoy ang mga zero-width space: hindi sila sumasakop ng anumang nakikitang espasyo, kaya walang visual na indikasyon ng kanilang presensya hanggang sa hindi inaasahang mabigo ang paghahambing o paghahanap sa database.

Ipinapakita ng tool na ito ang eksaktong lokasyon ng bawat nakatagong karakter upang malinis mo ang iyong data bago maghambing.

Ang pinakakaraniwang mga pinagmulan:

• Mga web page - Madalas gamitin ng HTML ang NBSP (ang   entity) para sa layout; maaaring dalhin ng anumang copy-paste mula sa website
• Mga PDF - ang spacing at line ending ay madalas na hindi pantay-pantay kapag kina-kuhain ang teksto
• Mga spreadsheet - minsan ay nag-iinsert ang Excel at Google Sheets ng ZWS sa mga formatted na cell
• Mga database export - ang ilang database ay nagpapanatili ng NBSP sa mga text field mula sa kanilang source application
• Mga mobile keyboard - ang ilan ay nag-iinsert ng NBSP kaysa sa regular na espasyo pagkatapos ng bantas
• Mga word processor - gumagamit ang Microsoft Word at katulad na app ng mga non-breaking space sa formatted na teksto

1. I-paste ang iyong teksto sa input box. Ang annotated panel ay nagpapakita ng bawat nakatagong karakter bilang isang may kulay na badge (hal. [NBSP], [ZWS]) upang makita mo ang eksaktong kinaroroonan nila.
2. Kopyahin mula sa panel na Na-linis sa ibaba, na nagpapakita ng parehong teksto na inalis ang lahat ng nakatagong karakter.

Para sa patuloy na paglilinis ng data, ang List Data Cleaner ay mayroon ding dedicated na opsyon na "Alisin ang mga nakatagong karakter".

Ang non-breaking space (U+00A0) ay magkaparehong hitsura ng regular na espasyo ngunit may kaibang character code (160 kumpara sa 32). Orihinal itong dinisenyo upang mapanatiling magkasama ang mga katabing salita sa iisang linya - halimbawa, upang hindi mabiyak ang "100 km" sa isang line break.

Saan ito nanggagaling: Mga HTML editor (ang   entity), mga word processor tulad ng Microsoft Word, at ilang mobile keyboard na nag-iinsert nito pagkatapos ng bantas.

Bakit nagdudulot ng problema: Ang anumang eksaktong paghahambing ng string ay itinuturing na iba ang NBSP mula sa regular na espasyo, na nagdudulot ng hindi inaasahang hindi pagtutugma sa mga paghahambing ng listahan, paghahanap sa database, at pag-import - kahit magkaparehong hitsura ang teksto sa screen.

Ang zero-width space (U+200B) ay hindi sumasakop ng anumang nakikitang espasyo - ganap itong hindi nakikita sa mata. Orihinal itong dinisenyo upang markahan ang mga opsyonal na punto ng line break sa mga script na hindi gumagamit ng mga espasyo sa pagitan ng mga salita (tulad ng Thai o CJK na teksto).

Saan ito nanggagaling: Tekstong kinuha mula sa mga web page, nilalaman mula sa ilang CMS platform (minsan ay nag-iinsert ang WordPress), at mga dokumentong na-convert mula sa mga rich text format.

Bakit nagdudulot ng problema: Dahil hindi ito nakikita, walang paraan upang malaman na ito ay naroroon hanggang sa hindi inaasahang mabigo ang paghahambing, paghahanap sa database, o pag-import. Ito ang pinakakaraniwang dahilan ng "magkaparehong" linya na tumatanggi sa pagtutugma.

Oo - ang paglilinis ng mga nakatagong karakter muna ay isa sa mga pinakamabuting hakbang sa paghahanda bago gamitin ang mga tool na Ikumpara ang Dalawang Listahan o Ikumpara ang Maraming Listahan.

Kopyahin ang na-linis na output mula sa tool na ito at i-paste ito sa comparison tool. Ang parehong tool ay mayroon ding opsyon na "Balewalain ang leading/trailing space" na nakakakuha ng NBSP sa mga hangganan ng linya - ngunit ang Detector ng Mga Nakatagong Karakter ay mas komprehensibo: hinahanap at iniaalis nito ang lahat ng nakatagong karakter anuman ang lokasyon nila sa isang linya.