Node.js에서 간과된 Buffer 사용법에 대한 자세한 설명

Node.js 많지만 아직 상세하지 않은 것 같아서 이번 글에서는 여러분이 모르실 수도 있는 Node.js의 Buffer 사용법을 위주로 소개하고 있으니 필요하신 분들은 참고하시면 좋을 것 같습니다. . 함께 살펴보겠습니다 . 메모리 할당 fs 모듈을 사용하여 파일

의 내용을 읽으면 버퍼가 반환됩니다.

fs.readFile('filename', function (err, buf) {
 // <Buffer 2f 2a 2a 0a 20 2a 20 53 75 ... >
});

net 또는 http 모듈을 사용하여 네트워크 데이터를 수신하면 데이터 event 매개변수도 버퍼입니다. 이때 데이터 접합을 위해 도 사용해야 합니다.

var bufs = [];
conn.on('data', function (buf) {
 bufs.push(buf);
});
conn.on('end', function () {
 // 接收数据结束后，拼接所有收到的 Buffer 对象
 var buf = Buffer.concat(bufs);
});

를 사용하여 base64 또는 16진수 문자를 변환할 수도 있습니다. as:

console.log(new Buffer('hello, world!').toString('base64'));
// 转换成 base64 字符串：aGVsbG8sIHdvcmxkIQ==

console.log(new Buffer('aGVsbG8sIHdvcmxkIQ==', 'base64').toString());
// 还原 base64 字符串：hello, world!

console.log(new Buffer('hello, world!').toString('hex'));
// 转换成十六进制字符串：68656c6c6f2c20776f726c6421

console.log(new Buffer('68656c6c6f2c20776f726c6421', 'hex').toString());
// 还原十六进制字符串：hello, world!

일반적으로 단일 Node.js 프로세스에는 최대 메모리 제한이 있습니다. 다음은 공식 문서의 지침입니다.

노드 프로세스의 메모리 제한은 무엇입니까?Buffer.concat()현재 기본적으로 v8의 메모리 제한은 32비트 시스템에서 512MB, 64비트 시스템에서 1.4GB입니다. --max_old_space_size를 최대 ~1024(~1GB)로 설정하여 제한을 늘릴 수 있습니다. ) (32비트) 및 ~4096(~4GB)(64비트)이지만 메모리 제한에 도달하는 경우 단일 프로세스를 여러 작업자로 분할하는 것이 좋습니다.

메모리 공간으로 인해 Buffer 객체가 점유 Node.js 프로세스의 메모리 공간 제한에 포함되지 않으므로 많은 메모리가 필요한 데이터를 저장하기 위해 Buffer를 사용하는 경우가 많습니다. Buffer.toString()

// 分配一个 2G-1 字节的数据
// 单次分配内存超过此值会抛出异常 RangeError: Invalid typed array length
var buf = new Buffer(1024 * 1024 * 1024 - 1);

위의 내용은 몇 가지 일반적인 용도입니다. Buffer의 API 문서를 읽으면 다음과 같이

및

으로 시작하는 더 많은 API를 찾을 수 있습니다.

buf.readUIntLE(offset, byteLength[, noAssert ])

readXXX()buf.readUIntBE(offset, byteLength[, noAssert])writeXXX()

• buf.readIntLE(offset, byteLength[, noAssert] )

• buf.readIntBE(offset, byteLength[, noAssert])

• buf.readUInt8(offset[, noAssert])

• buf.readUInt16LE(offset[, noAssert])

• buf.readUInt16BE(offset[, noAssert])

• buf.readUInt32LE(offset[, noAssert])

• buf.readUInt32BE(offset[, noAssert])

• buf.readInt8 ( offset[, noAssert])

• buf.readInt16LE(offset[, noAssert])

• buf.readInt16BE(offset[, noAssert] )

• buf.readInt32LE(offset[, noAssert])

• buf.readInt32BE(offset[, noAssert])

• buf.readFloatLE(offset[, noAssert])

• buf.readFloatBE(offset[, noAssert])

• buf.readDoubleLE(offset[, noAssert])

• buf.readDoubleBE(offset[, noAssert])

• buf.write(string [ , 오프셋][, 길이][, 인코딩])

• buf.writeUIntLE(value, offset, byteLength[, noAssert])

• buf.writeUIntBE(value, offset, byteLength[, noAssert])

• buf.writeIntLE(value, offset, byteLength[, noAssert])

• buf.writeIntBE(value, offset, byteLength[, noAssert])

• buf.writeUInt8(value, offset[, noAssert])

• buf.writeUInt16LE(값, 오프셋[, noAssert])

• buf.writeUInt16BE(값, 오프셋[, noAssert])

• buf.writeUInt32LE(값, 오프셋[, noAssert])

• buf.writeUInt32BE(값, 오프셋[, noAssert])

• buf . writeInt8(값, 오프셋[, noAssert])

• buf.writeInt16LE(값, 오프셋[, noAssert])

• buf.writeInt16BE (값, 오프셋[, noAssert])

• buf.writeInt32LE(값, 오프셋[, noAssert])

• buf.writeInt32BE(값 , offset[, noAssert])

• buf.writeFloatLE(value, offset[, noAssert])

• buf.writeFloatBE(value, offset [ , noAssert])

• buf.writeDoubleLE(값, 오프셋[, noAssert])

• buf.writeDoubleBE(값, 오프셋[, noAssert] ])

• 이러한 API는 Node.js에서 데이터를 조작하는 데 매우 편리합니다. 예를 들어, 현재

  타임스탬프
는 1447656645380입니다. 이를 문자열로 저장하면 11바이트의 공간을 차지하며 바이너리로 변환됩니다. 저장에는 6바이트의 공간만 필요합니다:

• var buf = new Buffer(6);
  
  buf.writeUIntBE(1447656645380, 0, 6);
  // <Buffer 01 51 0f 0f 63 04>
  
  buf.readUIntBE(0, 6);
  // 1447656645380

  Node.js를 사용하여 네트워크 통신 모듈, 데이터베이스의 클라이언트 모듈과 같은 일부 저수준 기능을 작성하거나 대규모 작업을 운영해야 하는 경우 파일의 파일 수 데이터를 구조화할 때 위의 Buffer 객체에서 제공하는 API가 필수적입니다.
  

  다음은 구조화된 데이터를 조작하기 위해 Buffer 객체를 사용하는 예를 보여줍니다.

操作结构化数据

假设有一个学生考试成绩数据库，每条记录结构如下：

学号	课程代码	分数
XXXXXX	XXXX	XX

其中学号是一个 6 位的数字，课程代码是一个 4 位数字，分数最高分为 100 分。

在使用文本来存储这些数据时，比如使用 CSV 格式存储可能是这样的：

100001,1001,99
100002,1001,67
100003,1001,88

其中每条记录占用 15 字节的空间，而使用二进制存储时其结构将会是这样：

学号	课程代码	分数
3 字节	2 字节	1 字节

每一条记录仅需要 6 字节的空间即可，仅仅是使用文本存储的 40%！下面是用来操作这些记录的程序：

// 读取一条记录
// buf Buffer 对象
// offset 本条记录在 Buffer 对象的开始位置
// data {number, lesson, score}
function writeRecord (buf, offset, data) {
 buf.writeUIntBE(data.number, offset, 3);
 buf.writeUInt16BE(data.lesson, offset + 3);
 buf.writeInt8(data.score, offset + 5);
}

// 写入一条记录
// buf Buffer 对象
// offset 本条记录在 Buffer 对象的开始位置
function readRecord (buf, offset) {
 return {
 number: buf.readUIntBE(offset, 3),
 lesson: buf.readUInt16BE(offset + 3),
 score: buf.readInt8(offset + 5)
 };
}

// 写入记录列表
// list 记录列表，每一条包含 {number, lesson, score}
function writeList (list) {
 var buf = new Buffer(list.length * 6);
 var offset = 0;
 for (var i = 0; i < list.length; i++) {
 writeRecord(buf, offset, list[i]);
 offset += 6;
 }
 return buf;
}

// 读取记录列表
// buf Buffer 对象
function readList (buf) {
 var offset = 0;
 var list = [];
 while (offset < buf.length) {
 list.push(readRecord(buf, offset));
 offset += 6;
 }
 return list;
}

我们可以再编写一段程序来看看效果：

var list = [
 {number: 100001, lesson: 1001, score: 99},
 {number: 100002, lesson: 1001, score: 88},
 {number: 100003, lesson: 1001, score: 77},
 {number: 100004, lesson: 1001, score: 66},
 {number: 100005, lesson: 1001, score: 55},
];
console.log(list);

var buf = writeList(list);
console.log(buf);
// 输出 <Buffer 01 86 a1 03 e9 63 01 86 a2 03 e9 58 01 86 a3 03 e9 4d 01 86 a4 03 e9 42 01 86 a5 03 e9 37>

var ret = readList(buf);
console.log(ret);
/* 输出
[ { number: 100001, lesson: 1001, score: 99 },
 { number: 100002, lesson: 1001, score: 88 },
 { number: 100003, lesson: 1001, score: 77 },
 { number: 100004, lesson: 1001, score: 66 },
 { number: 100005, lesson: 1001, score: 55 } ]
*/

lei-proto 模块介绍

上面的例子中，当每一条记录的结构有变化时，我们需要修改readRecord()和writeRecord() ，重新计算每一个字段在 Buffer 中的偏移量，当记录的字段比较复杂时很容易出错。为此我编写了lei-proto模块，它允许你通过简单定义每条记录的结构即可生成对应的readRecord()和`writeRecord()函数。

首先执行以下命令安装此模块：

$ npm install lei-proto --save

使用lei-proto模块后，前文的例子可以改为这样：

var parsePorto = require('lei-proto');

// 生成指定记录结构的数据编码/解码器
var record = parsePorto([
 ['number', 'uint', 3],
 ['lesson', 'uint', 2],
 ['score', 'uint', 1]
]);

function readList (buf) {
 var list = [];
 var offset = 0;
 while (offset < buf.length) {
 list.push(record.decode(buf.slice(offset, offset + 6)));
 offset += 6;
 }
 return list;
}

function writeList (list) {
 return Buffer.concat(list.map(record.encodeEx));
}

运行与上文同样的测试程序，可看到其结果是一样的：

<Buffer 01 86 a1 03 e9 63 01 86 a2 03 e9 58 01 86 a3 03 e9 4d 01 86 a4 03 e9 42 01 86 a5 03 e9 37>
[ { number: 100001, lesson: 1001, score: 99 },
 { number: 100002, lesson: 1001, score: 88 },
 { number: 100003, lesson: 1001, score: 77 },
 { number: 100004, lesson: 1001, score: 66 },
 { number: 100005, lesson: 1001, score: 55 } ]

总结


위 내용은 Node.js에서 간과된 Buffer 사용법에 대한 자세한 설명의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!