最近のプロジェクトでは、localStorage に書き込まれる文字列が占有するメモリを計算するために js を使用する必要があります。ご存知のとおり、js は Unicode エンコーディングを使用します。 Unicode 実装には N 種類があり、その中で最も一般的に使用されるのは UTF-8 と UTF-16 です。したがって、この記事ではこれら 2 つのエンコーディングについてのみ説明します。
次の定義は Wikipedia (http://zh.wikipedia.org/zh-cn/UTF-8) から引用したものですが、一部削除されています。
UTF-8 (8 ビット Unicode Transformation Format) は、Unicode 標準の任意の文字を表すことができる Unicode の可変長文字エンコーディングであり、そのエンコーディングの最初のバイトは 1 ~ 4 バイトを使用して ASCII と互換性があります。各文字をエンコードするバイト数
エンコード規則は次のとおりです:
000000 ~ 00007F の文字コードは 1 バイトでエンコードされます。
000800 ~ 00D7FF と 00E000 ~ 00FFFF の間の 3 バイトを使用します。 注: Unicode には、
の範囲に文字は含まれません。
010000 ~ 10FFFF の間の 4 バイトを使用します。
000000 – 00FFFF 2 バイト
010000 – 10FFFF 4 バイト。
最初は、ページが UTF-8 でエンコードされているので、localStorage に保存されている文字列も UTF-8 でエンコードされるべきだと思いました。しかし、その後のテストで、計算されたサイズは 5MB 未満であることが判明しましたが、それを localStorage に保存するときに例外がスローされました。よく考えたら、ページのエンコーディングを変更できます。 localStorage がページのエンコーディングに従って文字列を保存すると、混乱してしまいませんか?ブラウザはすべて UTF-16 エンコーディングを使用する必要があります。 5MB の文字列は UTF-16 エンコードを使用して計算され、正常に書き込まれました。それを超えると失敗となります。
さて、これがコードの実装です。計算ルールは上に書いた通りですが、計算速度を考慮して2つのforループを分けて記述しています。
/** * 计算字符串所占的内存字节数,默认使用UTF-8的编码方式计算,也可制定为UTF-16 * UTF-8 是一种可变长度的 Unicode 编码格式,使用一至四个字节为每个字符编码 * * 000000 - 00007F(128个代码) 0zzzzzzz(00-7F) 一个字节 * 000080 - 0007FF(1920个代码) 110yyyyy(C0-DF) 10zzzzzz(80-BF) 两个字节 * 000800 - 00D7FF 00E000 - 00FFFF(61440个代码) 1110xxxx(E0-EF) 10yyyyyy 10zzzzzz 三个字节 * 010000 - 10FFFF(1048576个代码) 11110www(F0-F7) 10xxxxxx 10yyyyyy 10zzzzzz 四个字节 * * 注: Unicode在范围 D800-DFFF 中不存在任何字符 * {@link http://zh.wikipedia.org/wiki/UTF-8} * * UTF-16 大部分使用两个字节编码,编码超出 65535 的使用四个字节 * 000000 - 00FFFF 两个字节 * 010000 - 10FFFF 四个字节 * * {@link http://zh.wikipedia.org/wiki/UTF-16} * @param {String} str * @param {String} charset utf-8, utf-16 * @return {Number} */ var sizeof = function(str, charset){ var total = 0, charCode, i, len; charset = charset ? charset.toLowerCase() : ''; if(charset === 'utf-16' || charset === 'utf16'){ for(i = 0, len = str.length; i < len; i++){ charCode = str.charCodeAt(i); if(charCode <= 0xffff){ total += 2; }else{ total += 4; } } }else{ for(i = 0, len = str.length; i < len; i++){ charCode = str.charCodeAt(i); if(charCode <= 0x007f) { total += 1; }else if(charCode <= 0x07ff){ total += 2; }else if(charCode <= 0xffff){ total += 3; }else{ total += 4; } } } return total; }