Unicode 文字エンコード

UCS-2

国際標準化機構 (ISO) および国際電気標準会議 (IEC) 規格 10646 (ISO/IEC 10646) の定める Universal Multiple-Octet Coded Character Set (UCS) には、16 ビット版 (UCS-2) と 32 ビット版 (UCS-4) があります。 UCS-2 は、サロゲートのない Unicode 16 ビット形式と同一です。 UCS-2 では、 Unicode のバージョン 3.0 のレパートリーで定義されている、 すべての (16 ビット) 文字をエンコードできます。 Unicode バージョン 3.1 以降で導入されている新しい補足文字をそれぞれエンコードするには、2 つの UCS-2 文字 (サロゲートの高いものが先で低いものが後) が必要とされます。 これらの補足文字は、 オリジナルの 16 ビットの Basic Multilingual Plane (BMP または Plane 0) の外部で定義されています。

UTF-16

ISO/IEC 10646 ではまた、 一部の UCS-4 文字を 2 個の UCS-2 文字でエンコードする拡張の技法も定義されています。 この拡張は UTF-16 といい、サロゲートのある Unicode 16 ビットのエンコード形式と同じです。 つまり、UTF-16 文字のレパートリーには、すべての UCS-2 文字に加えて、 サロゲートのペアを通してアクセス可能な 100 万の文字が含まれることになります。

16 ビットの Unicode 文字をバイトにシリアル化する際は、プロセッサーによって、 最上位バイトが先頭の位置に置かれる場合 (ビッグ・エンディアン順) と、 最下位バイトが先頭に置かれる場合 (リトル・エンディアン順) があります。 Unicode のデフォルトのバイト・オーダーはビッグ・エンディアンです。

UTF-8

16 ビットの Unicode 文字には、 バイト試行の ASCII ベース・アプリケーションとファイル・システムに関する大きな問題があります。 例えば、Unicode を認識しないアプリケーションでは、 大文字 'A' (U+0041) の先頭の 8 つの 0 ビットを単一バイトの ASCII NULL 文字として誤って解釈してしまう場合があります。

UTF-8 (UCS 変換形式 8) は、一種の変換アルゴリズムであり、 固定長の Unicode 文字を可変長の ASCII セーフ・バイト・ストリングに変換します。 UTF-8 では、ASCII 文字や制御文字はそれぞれ通常の単一バイト・コードで表されますが、 他の文字は 2 バイト以上の長さになります。 UTF-8 では、 非補足文字と補足文字の両方をエンコードできます。

UTF-8 文字は最大で 4 バイト長までです。 非補助文字は 3 バイト長までで、補助文字は 4 バイト長です。