不可視文字検出ツール

不可視文字とは、空白として表示されるか、目に見えるスペースをまったく占有しないUnicodeコードポイントですが、技術的には通常のスペースとは異なります。Webページ、PDF、スプレッドシート、データベースのエクスポートフィールドからコピーされたデータによく現れます。

このツールが検出する一般的な種類:

• NBSP（U+00A0）- 通常のスペースと見た目は同じですが異なる文字。HTMLエディタやワープロによって挿入されます
• ZWS（U+200B）- 完全に不可視でスペースを占有しない。「同じ」行がマッチしない最大の原因
• ZWJ / ZWNJ- 隣接する文字が結合するかどうかを制御。アラビア語、ペルシャ語、絵文字シーケンスでよく見られます
• BOM（U+FEFF）- Windows メモ帳、Excel、PowerShellがファイル先頭に付加。最初の行が常にマッチしない原因
• CR（U+000D）- 復帰文字。Windows CRLF行末の一部で、末尾文字の不一致を引き起こします
• TAB（U+0009）- 水平タブ。TSVファイル、コードエディタ、ターミナルのコピー&ペーストから来ます

通常のスペース（U+0020）とノーブレークスペース（U+00A0）は見た目は同じですが、文字コードはまったく異なります。リストを比較する際、末尾にNBSPがある項目は、通常のスペースがある同じ項目とマッチしません。画面上では同じに見えても同様です。

幅ゼロスペースはさらに発見が難しく、目に見えるスペースをまったく占有しないため、比較やデータベース検索が予期せず失敗するまで存在を視覚的に確認する方法がありません。

このツールは各不可視文字が正確にどこに潜んでいるかを明らかにし、比較前にデータをクリーンアップできるようにします。

最も一般的な発生源:

• Webページ- HTMLはレイアウトにNBSP（ エンティティ）をよく使用します。Webサイトからのコピー&ペーストで持ち込まれる場合があります
• PDF- テキスト抽出時にスペースと行末が一致しないことがよくあります
• スプレッドシート- ExcelとGoogle Sheetsは書式設定されたセルにZWSを挿入することがあります
• データベースエクスポート- ソースアプリケーションのテキストフィールドのNBSPを保持するデータベースがあります
• モバイルキーボード- 句読点の後に通常のスペースではなくNBSPを挿入するものがあります
• ワープロ- Microsoft Wordや類似アプリは書式設定されたテキストにノーブレークスペースを使用します

1. 入力ボックスにテキストを貼り付けます。注釈パネルに各不可視文字が色付きバッジ（例：[NBSP]、[ZWS]）で表示されるので、正確にどこにあるかを確認できます。
2. 下のクリーニング済みパネルからコピーします。このパネルには不可視文字をすべて除去した同じテキストが表示されています。

継続的なデータクリーニングには、リストデータクリーナーにも専用の「不可視文字を削除」オプションがあります。

ノーブレークスペース（U+00A0）は通常のスペースと見た目は同じですが、文字コードが異なります（160対32）。元々は隣接する単語を同じ行に保つために設計されました。例えば「100 km」が改行で分割されないようにするためです。

どこから来るか：HTMLエディタ（ エンティティ）、Microsoft Wordなどのワープロ、句読点の後に挿入するモバイルキーボード。

なぜ問題を起こすか：あらゆる正確な文字列比較はNBSPを通常のスペースと異なるものとして扱い、テキストが画面上で同一に見えても、リスト比較、データベース検索、インポートで予期しない不一致を引き起こします。

幅ゼロスペース（U+200B）は目に見えるスペースをまったく占有しない、目には完全に不可視の文字です。元々は単語間にスペースを使わない文字体系（タイ語やCJKテキストなど）でのオプション改行位置を示すために設計されました。

どこから来るか：Webページからスクレイピングされたテキスト、一部のCMSプラットフォームのコンテンツ（WordPressが挿入することがある）、リッチテキスト形式から変換されたドキュメント。

なぜ問題を起こすか：不可視のため、比較、データベース検索、インポートが予期せず失敗するまで存在を知る方法がありません。「同じ」行がマッチを拒否する最も一般的な原因です。

はい - 不可視文字を最初にクリーンアップすることは、2つのリストを比較または複数リストの比較ツールを使う前の最良の準備ステップのひとつです。

このツールからクリーニングされた出力をコピーして比較ツールに貼り付けます。両ツールには行の境界でNBSPを検出する「先頭/末尾のスペースを無視」オプションもありますが、不可視文字検出ツールはより徹底的で、行内のどこに現れても不可視文字をすべて検出・削除します。