PHP は Unicode と Utf-8 エンコーディング間の変換を実装します

最近、たまたまUnicodeエンコードを変換する必要があったので、PHPのライブラリ関数を調べてみたのですが、文字列をUnicodeでエンコード、デコードできる関数が見つかりませんでした。まあ、それが見つからない場合は、自分で実装してください。 。 。

Unicode と Utf-8 エンコードの違い

Unicode は文字セットであり、UTF-8 は Unicode の 1 つで固定長であり、2 バイトです。 、UTF-8 は可変です。中国語の文字の場合、Unicode は UTF-8 よりも 1 バイト少ない値を占めます。 Unicode は 2 バイトですが、UTF-8 の中国語文字は 3 バイトを占めます。
UTF-8 でエンコードされた文字の長さは理論的には最大 6 バイトですが、16 ビット BMP (Basic Multilingual Plane) 文字の長さは最大 3 バイトのみです。 UTF-8 エンコーディング テーブルを見てみましょう。

U-00000000 - U-0000007F: 0xxxxxxx U-00000080 - U-000007FF: 110xxxxx 10xxxxxx U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 

xxx の位置は、文字エンコーディング番号のバイナリ表現によって埋められます。右にある x にはそれほど特別な意味はありません。最も短いものが使用されます。 文字エンコーディング番号を表現するのに十分なマルチバイト文字列。 マルチバイト文字列では、最初のバイトの先頭にある「1」の数が文字列全体のバイト数になることに注意してください。最初の行は ASCII エンコードと互換性があるように 0 で始まり、1 バイト、2 行目は 2 バイト文字列、3 行目は中国語などの 3 バイトです。 (個人的には、実際には単純に先頭の 1 の数をバイト数とみなしてよいと考えています)

Unicode を Utf-8 に変換する方法

Unicode を UTF に変換するには- 8. もちろん、それらの違いは何かを知っておく必要があります。 Unicode のエンコーディングが UTF-8 にどのように変換されるかを見てみましょう。UTF-8 では、文字のバイトが 0x80 (128) 未満の場合、それは 1 バイトを占める ASCII 文字となり、変換は行われません。 UTF-8 は ASCII エンコードと互換性があるため、必要です。 Unicode の漢字「君」のエンコードが「u4F60」の場合、100111101100000 にバイナリ変換し、UTF-8 方式で変換します。 Unicode バイナリから 2 進数を下位から上位まで、一度に 6 ビットずつ取り出すことができます。たとえば、上記のバイナリを以下に示す形式に取り出すことができます。以前のバイナリは、形式に従って埋められます。 8 ビット以上は 0 で埋められます。

unicode: 100111101100000                   4F60utf-8:    11100100,10111101,10100000       E4BDA0

上記から、Unicode と UTF-8 の間の変換が直感的にわかります。もちろん、UTF-8 の形式を理解した後は、その逆の操作を実行することもできます。バイナリ内の対応する位置が取り出され、結果の Unicode 文字に変換されます (この操作は「置換」によって完了できます)。例えば、上記の「you」の変換では、その値が0x800より大きく0x10000未満であるため、3バイト格納と判断でき、最上位ビットを「12」だけ右にシフトする必要があります。ビットを取得し、3 バイト形式に従って、最高値を取得するには最上位ビットは 11100000 (0xE0 ) または (|) になります。同様に、2桁目を右に「6」ビットシフトし、最上位桁と2桁目の2進数値を左に置き、111111(0x3F)と位置(&)演算を行うことで計算できます。 )、11000000 (0x80) または (|) で合計されます。 3 番目のビットをシフトする必要はなく、最後の 6 ビットを直接取得し (& と 111111 (ox3F))、その後 11000000 (0x80) と OR (|) を演算します。

Utf-8 を Unicode に戻す方法

もちろん、UTF-8 から Unicode への変換も、対応するバイナリを変換するシフトなどによって行われます。 UTF-8 形式の位置番号を調べます。上の例では、「you」は 3 バイトであるため、上位ビットから下位ビットまで各バイトを処理する必要があります。 UTF-8 では、「あなた」は 11100100,10111101,10100000 です。上位ビット、つまり最初のバイト 11100100 から「0100」を取り出します。これは 11111 (0x1F) との AND (&) を取るだけです。毎回 6 桁が使用されるため、最上位は 12 ビットより前でなければなりません。したがって、得られた結果は 12 ビット左にシフトする必要があり、最上位ビットは 0100,000000,000000 になります。 2 番目のビットは「111101」を取り出すため、2 番目のバイト 10111101 と 111111 (0x3F) を AND (&) するだけで済みます。結果を 6 ビット左にシフトし、最上位バイトまたは (|) の結果を取得すると、2 番目のビットが完成し、結果は 0100,111101,000000 になります。同様に、最後の桁は 111111 (0x3F) と直接 AND (&) 演算され、次に前の結果と OR (|) 演算されて、結果 0100,111101,100000 が得られます。

PHP コードの実装

/** * utf8字符转换成Unicode字符 * @param  [type] $utf8_str Utf-8字符 * @return [type]           Unicode字符 */function utf8_str_to_unicode($utf8_str) {    $unicode = 0;    $unicode = (ord($utf8_str[0]) & 0x1F) << 12;    $unicode |= (ord($utf8_str[1]) & 0x3F) << 6;    $unicode |= (ord($utf8_str[2]) & 0x3F);    return dechex($unicode);}/** * Unicode字符转换成utf8字符 * @param  [type] $unicode_str Unicode字符 * @return [type]              Utf-8字符 */function unicode_to_utf8($unicode_str) {    $utf8_str = '';    $code = intval(hexdec($unicode_str));    //这里注意转换出来的code一定得是整形，这样才会正确的按位操作    $ord_1 = decbin(0xe0 | ($code >> 12));    $ord_2 = decbin(0x80 | (($code >> 6) & 0x3f));    $ord_3 = decbin(0x80 | ($code & 0x3f));    $utf8_str = chr(bindec($ord_1)) . chr(bindec($ord_2)) . chr(bindec($ord_3));    return $utf8_str;}

テストしました

$utf8_str = '我';//这是汉字“你”的Unicode编码$unicode_str = '4f6b';//输出 6211echo utf8_str_to_unicode($utf8_str) . "<br/>";//输出汉字“你”echo unicode_str_to_utf8($unicode_str);

上記の変換は、中国語文字 (通常は非 ASCII) のテスト用です。 ASCII なので、何度も同じことになるので、それほど多くの労力を費やす必要はありません。
さらに、これら 2 つの関数は単純に実装されており、単一の文字 (完全な utf8 文字または完全な Unicode 文字) の変換のみをサポートしています。それを理解していれば、好きなだけ拡張できます。 。 。