文字コード

私たちはテキスト文書を文字の行として見ていますが、コンピューターは実際にはそれをバイナリデータ、つまり1と0が連続したデータとして認識します。そのため、テキスト文書内の文字は数値コードで表す必要があります。これを実現するため、テキストは複数ある文字コード方式のいずれかを使って保存されます。

最も一般的な文字コード方式はASCIIとUnicodeです。ASCIIは現在でもほぼすべてのテキストエディターでサポートされていますが、より多くの文字を扱えるため、Unicodeのほうが一般的に使われています。UnicodeはUTF-8、UTF-16、UTF-32のいずれかで定義されることが多く、これらは異なるUnicode規格を指します。UTFは「Unicode Transformation Format」の略で、数字は各文字を表すために使われるビット数を示します。コンピューティングの初期から、文字は少なくとも1バイト（8ビット）で表されてきました。そのため、異なるUnicode規格では、8ビットの倍数で文字を保存します。

ASCIIとUnicodeが最も一般的な文字コード方式ですが、テキストファイルをエンコードするために、ほかのエンコード規格が使われることもあります。たとえば、西欧、ラテンアメリカ、日本語、韓国語、中国語など、言語ごとの文字コード規格がいくつか存在します。西欧の言語では似た文字が使われますが、東アジアの言語ではまったく異なる文字セットが必要です。そのため、ラテン文字のエンコードでは、中国語の文字列を表すために必要な記号を扱えません。幸い、UTF-16などの最新の規格は、西欧と東アジアの文字や記号の両方を表せるほど大きな文字セットをサポートしています。