淺析NodeJS中的Buffer-js教程-PHP中文網

淺析NodeJS中的Buffer

青灯夜游

發布： 2020-11-18 17:59:51

轉載

2591 人瀏覽過

淺析NodeJS中的Buffer

什麼是 Buffer

如同官方 API 中介紹的那樣，在 ES6 引入 TypedArray 之前，JavaScript 沒有讀取或操作二進位資料流的機制。 Buffer 類別作為 NodeJS API 的一部分被引入，以便能夠和 TCP 等網路流和文件流等進行互動。

現在 TypedArray 已經被加入到了 ES6 中，Buffer 類別以一種更優化和適用於 NodeJS 操作的方式實作了 Unit8Array API。

總而言之，Buffer 類別是用來處理二進位數據，因為太常用了，所以直接放在了全域變數裡，使用的時候無需 require。

Buffer 類別的實例類似整數數組，不過緩衝區的大小在建立時確定，無法調整。 Buffer 物件不同之處在於它不經 V8 的記憶體分配機制，Buffer 是一個 JavaScript 和 C 結合的模組，記憶體由 C 申請，JavaScript 分配。

關於 Buffer 記憶體分配相關知識不展開討論，有興趣同學可以看看樸老濕的書。

實例化 Buffer

在 NodeJS v6 之前都是透過呼叫建構函式的方式實例化 Buffer，根據參數傳回不同結果。處於安全性原因，這種方式在v6 後的版本中已經被廢除，提供了

Buffer.from()
Buffer.alloc()
#Buffer.allocUnsafe()

三個單獨的，職責清晰的函式處理實例化Buffer 的工作。

Buffer.from(array)：傳回一個內容包含所提供的位元組副本的Buffer，數組中每一項是一個表示八位元組的數字，所以值必須在0 ~ 255 之間，否則會取模
Buffer.from(arrayBuffer)：傳回一個與給定的ArrayBuffer 共享記憶體的新Buffer
Buffer.from(buffer)：傳回給定Buffer的一個副本Buffer
Buffer.from(string [, encoding])：傳回一個包含給定字串的Buffer
Buffer.alloc(size [, fill [, encoding]]) ：傳回指定大小且「已填入」的Buffer
Buffer.allocUnsafe(size)：傳回指定大小的Buffer，內容必須以buf.fill(0) 等方法填入

// 0x 表示 16 进制

Buffer.from([1, 2, 3]) // [0x1, 0x2, 0x3]

Buffer.from('test', 'utf-8') // [0x74, 0x65, 0x73, 0x74]

Buffer.alloc(5, 1) // [0x1, 0x1, 0x1, 0x1, 0x1]

Buffer.allocUnsafe(5); // 值不确定，后面详谈

登入後複製

Buffer.allocUnsafe() 的執行會快於Buffer.alloc() 看名字很不安全，而且確實也不安全。

當呼叫 Buffer.allocUnsafe() 時分配的記憶體段尚未初始化（不歸零），這樣分配記憶體速度很塊，但分配到的記憶體片段可能包含舊資料。如果在使用的時候不覆蓋這些舊資料就可能造成記憶體洩露，雖然速度快，盡量避免使用。

編碼

Buffer 支援以下幾種編碼格式

#ascii
utf8
utf16le
base64
binary
hex

#Buffer 和String 轉換

字串轉為Buffer 比較簡單

Buffer.from(string [, encoding])

登入後複製

同時Buffer 實例也有toString 方法將Buffer 轉換成字串

buf.toString([encoding[, start[, end]]])

登入後複製

Buffer 拼接

使用concat 方法可以講多個Buffer 實例拼接為一個Buffer 實例

Buffer.concat(list[, totalLength])

登入後複製

StringDecoder

在NodeJS 中一個漢字由三個位元組表示，如果我們處理中文字元的時候使用了不是3的倍數的位元組數就會造成字元拼接亂碼問題。

const buf = Buffer.from('中文字符串！');

for(let i = 0; i < buf.length; i+=5){
  var b = Buffer.allocUnsafe(5);
  buf.copy(b, 0, i);
  console.log(b.toString());
}

登入後複製

這樣可以看到結果中出現了亂碼

#但如果使用string_decoder 模組便可以解決這個問題

const StringDecoder = require('string_decoder').StringDecoder;
const decoder = new StringDecoder('utf8');

const buf = Buffer.from('中文字符串！');

for(let i = 0; i < buf.length; i+=5){
  var b = Buffer.allocUnsafe(5);
  buf.copy(b, 0, i);
  console.log(decoder.write(b));
}

登入後複製

StringDecoder 在得到編碼後，知道寬字節在utf-8下佔3個字節，所以在處理末尾不全的位元組時，會保留到第二次write()。目前只能處理UTF-8、Base64 和 UCS-2/UTF-16LE。