文書解析

文書解析とは、文書を分析して意味のあるデータを抽出する処理です。この用語は、ハッカーが機密データを明らかにするために文書を「解析」することがあるため、コンピューターハッキングと関連付けられることがよくあります。ただし、文書解析は悪意のない目的にも使用されます。たとえば、未知のファイル形式の特定や、ファイルのメタデータの表示などです。

プレーンテキストファイルとバイナリファイルの両方で文書解析を実行できます。

テキストファイル

テキストファイルはデータをプレーンテキストとして保存するため、解析は単純な処理です。文字や文字列を、grepなどのツールや別の検索ユーティリティを使ってテキスト文書内から検索できます。テキスト処理は比較的高速なコンピューター操作なので、複数の大きな文書を1秒未満で解析できる場合もあります。

文書解析の対象になる一般的なテキストファイルの種類には、ログファイル（.LOG、.TXT）や設定ファイル（.CONF、.CNF）があります。たとえば、ハッカーがWebサーバーにアクセスできた場合、これらのファイルからユーザー名、パスワード、その他の機密データを検索する可能性があります。

バイナリファイル

バイナリファイルにはプレーンテキストが含まれることもありますが、バイナリデータ（1と0）も保存されています。バイナリデータはテキスト検索ツールでは検索できないため、解析はより困難です。さらに、多くのバイナリファイルは独自のファイル形式で保存されており、対応するアプリケーションなしでは解析が困難です。そのため、バイナリ文書の解析では通常、プレーンテキストが含まれている可能性のある文書のヘッダーとフッターに注目します。また、ファイルのメタデータの抽出を目的とする場合もあります。

多くのバイナリファイルでは、ファイルのヘッダーにファイルの種類に関する情報が含まれています。たとえば、サンプル画像では、ヘッダー内の「PNG」という文字が、そのファイルがPNG画像であることを示しています。この情報は、ファイルにファイル拡張子がない場合にファイルの種類を特定するのに役立ちます。同様に、デジタル写真には、写真の撮影時に保存されたEXIFデータが隠れていることがよくあります。画像表示プログラムや文書解析用のスクリプトで、この情報を検出して抽出できる場合があります。