Java のコードポイントと UTF-16 に関連する事項の詳細な紹介-＆＃＆チュートリアル-php.cn

Java のコードポイントと UTF-16 に関連する事項の詳細な紹介

黄舟

リリース： 2017-03-21 11:11:40

オリジナル

1524 人が閲覧しました

UnicodeとUTF-8/UTF-16/UTF-32の関係

UnicodeとUTF-8/UTF-16/UTF-32の関係は、文字セットとエンコーディングの関係です。文字セットの概念には、実際には 2 つの側面が含まれています。1 つは文字のセットであり、もう 1 つはエンコードスキームです。キャラクタセットは、それに含まれるすべてのシンボルを定義します。狭義のキャラクタセットには、このキャラクタセットに属するすべてのシンボルが定義されるだけです。しかし、一般的に言えば、文字セットは文字のコレクションを定義するだけでなく、各シンボルのバイナリエンコーディングも定義します。 GB2312 または ASCII について言及する場合、それはエンコードスキームが GB2312 または ASCII であることを暗黙的に示しており、この場合、文字セットとエンコードスキームは等しいと見なされます。

しかし、Unicode には複数のエンコードスキームがあります。 Unicode 文字セットで指定されている標準のエンコードスキームは UCS-2 (UTF-16) であり、Unicode 文字を表すために 2 バイトを使用します (UTF-16 の 2 バイトは基本的な多言語フラット文字であり、4 バイトは補助文字です)平らな文字）。 UCS-4 (UTF-32) は、Unicode 文字を表すために 4 バイトを使用します。もう 1 つの一般的に使用される Unicode エンコードスキーム - UTF-8 は、1 ～ 4 の可変長バイトを使用して Unicode 文字を表し、単純な変換アルゴリズムにより UTF-16 から直接取得できます。したがって、Unicode 文字セットを使用する場合は複数のエンコードスキームがあり、適切なシナリオで使用されます。

より簡単に言うと、Unicode 文字セットは辞書に相当し、すべての文字 (つまり、画像) とそれに対応する Unicode コード (特定のエンコードスキームに関係なく)、UTF-8/UTF-16/UTF- を記録します。 32 コードは、Unicode コードによって対応する計算式を介して計算され、実際に保存および送信されるデータです。

UTF-16

Javaのchar型で使用されるエンコードスキームはUTF-16であるとJVM仕様に明記されているので、まずはUTF-16について理解しましょう。

Unicode のエンコード空間の範囲は U+0000 から U+10FFFF で、文字のマッピングに使用できるコードポイントは 1112064 です。コーディング空間のこの部分は 17 のプレーンに分割でき、各プレーンには 2^16 (65536) コードビットが含まれます。最初のプレーンは、Basic Multilingual Plane (BMP)、またはプレーン 0 と呼ばれます。他のプレーンは補助プレーンと呼ばれます。基本的な多言語プレーンでは、U+D800 から U+DFFF までのコードポイントブロックは永続的に予約されており、Unicode 文字にはマップされません。 UTF-16 は、0xD800-0xDFFF セクションの予約されたコードビットを使用して、補助プレーン文字のコードビットをエンコードします。

最も一般的に使用される文字は BMP に含まれており、2 バイトで表されます。補助プレーンのコードビットは、サロゲートペアと呼ばれる、UTF-16 の 16 ビット長のコード要素のペアとしてエンコードされます。具体的な方法は次のとおりです。

コードビットを 0x10000 で減算します。取得される値は 0 から 0xFFFFF までの 20 ビット長です。
上位 10 ビット値 (値の範囲は 0~0x3FF) は、最初のコード要素を取得するために 0xD800 に追加されるか、上位サロゲートと呼ばれます。値の範囲は 0xD800~0xDBFF であるためです。下位サロゲートよりも小さいため、混乱を避けるために、Unicode 標準では上位サロゲートをリードサロゲートと呼ぶようになりました。
下位 10 ビット値 (値の範囲も 0~0x3FF) は、2 番目のシンボルを取得するために 0xDC00 に追加されるか、下位サロゲートと呼ばれます。上位サロゲートよりも大きいため、混乱を避けるために、Unicode 標準では下位サロゲートをトレイルサロゲートと呼ぶようになりました。

たとえば、U+10437 エンコード:

0×10437 から 0×10000 を引くと、結果は 0×00437 となり、バイナリでは 0000 0000 0100 0011 0111 となります。
上位 10 ビット値と下位 10 ビット値を分割します (バイナリを使用): 0000000001 と 0000110111。
上位値に 0xD800 を追加して上位ビットを形成します: 0xD800 + 0x0001 = 0xD801。
下位の値に 0xDC00 を加算して、下位ビットを形成します: 0xDC00 + 0x0037 = 0xDC37。

BMP 内の先頭サロゲート、末尾サロゲート、および有効な文字のコードポイントは互いに重なり合わないため、ある文字エンコーディングの一部が別の文字の異なる部分と重なることは不可能です検索時のエンコーディング。したがって、1 つのコード要素 (コードポイントを構成する基本単位、2 バイト) だけを調べるだけで、特定の文字の次の文字の開始コード要素を判断できます。

Java に関連するコードポイント

文字列オブジェクトの場合、その内容は char 配列を通じて保存されます。 char 型は 2 バイトに格納され、この 2 バイトには実際に UTF-16 エンコーディングでコード要素が格納されます。 charAt メソッドと length メソッドを使用した場合、実際に返されるのはコード要素とコード要素数です。通常は問題ありませんが、文字が補助平面文字の場合、上記 2 つのメソッドは正しい結果を取得できません。。正しい処理方法は次のとおりです。

int character = aString.codePointAt(i);
int length = aString.codePointCount(0, aString.length())；

ログイン後にコピー

codePointAt の戻り値は char ではなく int であることに注意してください。この値は Unicode コードです。

codePointAt メソッドは codePointAtImpl を呼び出します:

static int codePointAtImpl(char[] a, int index, int limit) {
        char c1 = a[index];
        if (isHighSurrogate(c1) && ++index < limit) {
            char c2 = a[index];
            if (isLowSurrogate(c2)) {
                return toCodePoint(c1, c2);
            }
        }
        return c1;
    }

ログイン後にコピー

isHighSurrogate メソッドは、下付き文字の 2 バイトが UTF-16 (0xD800~0xDBFF) の先頭サロゲートであるかどうかを判断します:

public static boolean isHighSurrogate(char ch) {
        // Help VM constant-fold; MAX_HIGH_SURROGATE + 1 == MIN_LOW_SURROGATE
        return ch >= MIN_HIGH_SURROGATE && ch < (MAX_HIGH_SURROGATE + 1);
    }

ログイン後にコピー

public static final char MIN_HIGH_SURROGATE = &#39;\uD800&#39;;
public static final char MAX_HIGH_SURROGATE = &#39;\uDBFF&#39;;

ログイン後にコピー

然后++index,isLowSurrogate方法判断下一个字符的2个字节是否为后尾代理（0xDC00~0xDFFF）：

public static boolean isLowSurrogate(char ch) {
        return ch >= MIN_LOW_SURROGATE && ch < (MAX_LOW_SURROGATE + 1);
    }

ログイン後にコピー

public static final char MIN_LOW_SURROGATE  = &#39;\uDC00&#39;;
public static final char MAX_LOW_SURROGATE  = &#39;\uDFFF&#39;;

ログイン後にコピー

toCodePoint方法将这2个码元组装成一个Unicode码：

public static int toCodePoint(char high, char low) {
        // Optimized form of:
        // return ((high - MIN_HIGH_SURROGATE) << 10)
        //         + (low - MIN_LOW_SURROGATE)
        //         + MIN_SUPPLEMENTARY_CODE_POINT;
        return ((high << 10) + low) + (MIN_SUPPLEMENTARY_CODE_POINT
                                       - (MIN_HIGH_SURROGATE << 10)
                                       - MIN_LOW_SURROGATE);
    }

ログイン後にコピー

这个过程就是以上将一个辅助平面的Unicode码位转换成2个码元的逆过程。

所以，枚举字符串的正确方法：

for (int i = 0; i < aString.length();) {
	int character = aString.codePointAt(i);
	//如果是辅助平面字符，则i+2
	if (Character.isSupplementaryCodePoint(character)) i += 2;
	else ++i;
}

ログイン後にコピー

将codePoint转换为char[]可调用Character.toChars方法，然后可进一步转换为字符串：

new String(Character.toChars(codePoint));

ログイン後にコピー

toChars方法所做的就是以上将Unicode码位转换为2个码元的过程。

以上がJava のコードポイントと UTF-16 に関連する事項の詳細な紹介の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。