NodeJS_node.js의 Buffer 모듈에 대한 자세한 설명

1, 오프닝 분석

일명 버퍼(Buffer)라 불리는 버퍼(Buffer)는 '임시 저장 영역'을 뜻하며, 입력과 출력 데이터를 임시로 저장하는 메모리의 한 부분이다.

JS 언어 자체에는 문자열 데이터 유형만 있고 이진 데이터 유형이 없으므로 NodeJS는 이진 데이터에 대한 작업을 제공하기 위해 String과 동일한 전역 생성자 Buffer를 제공합니다. 버퍼 인스턴스를 얻기 위해 파일을 읽는 것 외에도 다음과 같이 직접 구성할 수도 있습니다.

코드 복사 코드는 다음과 같습니다.

var 버퍼 = 새로운 버퍼([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ])

버퍼는 문자열과 유사합니다. .length 속성을 사용하여 바이트 길이를 얻는 것 외에도 [index] 메서드를 사용하여 지정된 위치에서 바이트를 읽을 수도 있습니다.

코드 복사 코드는 다음과 같습니다.

버퍼[0] ; // 0x68;

버퍼와 문자열은 서로 변환될 수 있습니다. 예를 들어 바이너리 데이터는 지정된 인코딩을 사용하여 문자열로 변환될 수 있습니다.

코드 복사 코드는 다음과 같습니다.

var str = buffer.toString("utf-8") // 안녕하세요

문자열을 지정된 인코딩의 이진 데이터로 변환:

코드 복사 코드는 다음과 같습니다.

var buffer= new Buffer("hello", "utf-8") ; // <버퍼 68 65 6c 6c 6f>

약간의 차이점:

버퍼와 문자열에는 중요한 차이점이 있습니다. 문자열은 읽기 전용이며 문자열을 수정하면 새 문자열이 생성되지만 원래 문자열은 변경되지 않습니다.

버퍼의 경우 포인터 작업을 수행할 수 있는 C 언어 배열에 가깝습니다. 예를 들어 [index] 메서드를 사용하면 특정 위치의 바이트를 직접 수정할 수 있습니다.

---------------------------------- --- ---------------------------------- --- ---------------------------------- --- ---------------------------------- --- -------------------

slice 메소드는 아래와 같이 새로운 버퍼를 반환하지 않고 원래 버퍼의 중간 위치에 대한 포인터를 반환합니다.

[ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]
                                                          |
bin bin.slice(2)
따라서 슬라이스 메서드에서 반환된 버퍼를 수정하면 원래 버퍼에 영향을 미칩니다. 예를 들면 다음과 같습니다.

코드 복사 코드는 다음과 같습니다.

var 버퍼= 새 버퍼([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ;
var sub = bin.slice(2) ;
하위[0] = 0x65;
console.log(버퍼); // <버퍼 68 65 65 6c 6f>

버퍼를 복사하려면 먼저 새 버퍼를 생성하고 .copy 메서드를 통해 원본 버퍼의 데이터를 복사해야 합니다.

새 메모리를 적용해 기존 메모리에 있는 데이터를 복사하는 것과 비슷합니다. 아래는 예시입니다.

코드 복사 코드는 다음과 같습니다.

var 버퍼= 새 버퍼([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ;
var dup = 새 버퍼(bin.length) ;
buffer.copy(dup) ;
dup[0] = 0x48 ;
console.log(버퍼); // <버퍼 68 65 6c 6c 6f>
console.log(dup) ; // <버퍼 48 65 65 6c 6f>

간단히 말하면 Buffer는 JS의 데이터 처리 기능을 문자열에서 임의의 바이너리 데이터로 확장합니다.

위에서는 Buffer가 무엇인지에 대한 간략한 소개와 구체적인 사용 시나리오에 대해 이야기해 보겠습니다.

둘째, Buffer에 대해 이야기해보자

JavaScript는 넓은 바이트이든 단일 바이트 문자열이든 문자열 처리에 매우 친숙합니다. 노드는 네트워크 프로토콜 처리, 데이터베이스 운영, 사진 처리, 파일 업로드 등을 처리해야 합니다. 또한 많은 양의 바이너리 데이터를 처리해야 합니다. 내장 문자열은 이러한 요구 사항을 충족시키기에는 거리가 멀기 때문에 버퍼가 탄생했습니다.

버퍼 구조

버퍼는 Javascript와 C를 결합한 대표적인 모듈입니다. 성능과 관련된 부분은 C로 구현되고, 성능과 관련되지 않은 부분은 JavaScript로 구현됩니다.

프로세스가 시작될 때 노드는 이미 Buffer를 메모리에 로드하고 전역 객체에 넣기 때문에 require를 할 필요가 없습니다

버퍼 개체: 배열과 유사하며 해당 요소는 두 자리 16진수입니다.

버퍼 메모리 할당

Buffer 객체의 메모리 할당은 V8의 힙 메모리에 없습니다. 메모리 애플리케이션은 Node.js의 C 레벨에서 구현됩니다.

요청된 메모리를 효율적으로 사용하기 위해 Node는 슬랩 할당 메커니즘을 채택합니다. Slab은 다양한 *nix 운영 체제를 적용하는 동적 메모리 관리 메커니즘입니다. Slab에는 세 가지 상태가 있습니다.

(1) 전체: 완전히 할당된 상태

(2) 부분: 부분 할당 상태

(3) 비어 있음: 할당된 상태 없음

버퍼 변환

버퍼 객체는 문자열로 변환될 수 있으며 지원되는 인코딩 유형은 다음과 같습니다.

ASCII, UTF-8, UTF-16LE/UCS-2, Base64, 바이너리, 16진수

버퍼에 문자열

새 버퍼(str, [인코딩]), 기본 UTF-8
buf.write(문자열, [오프셋], [길이], [인코딩])

버퍼를 문자열로

buf.toString([인코딩], [시작], [끝])

버퍼에서 지원하지 않는 인코딩 유형

Buffer.isEncoding(encoding) 지원 여부 확인

iconv-lite: 순수 JavaScript 구현, 더 가벼운 무게, C에서 JavaScript로의 변환 없이 더 나은 성능

iconv: C의 libiconv 라이브러리를 호출하여 완료

버퍼 접합

"res.on('data', function(chunk) {})"에 주의하세요. 매개변수 청크는 Buffer 객체입니다. 직접 접합은 이를 자동으로 와이드 바이트 문자, 잘못된 문자로 변환합니다. ,

해결책:

(1) 읽기 가능한 스트림의 setEncoding() 메소드를 통해 이 메소드를 사용하면 데이터 이벤트가 더 이상 Buffer 객체가 아닌 내부적으로 StringEncoder 모듈을 사용하는 인코딩된 문자열로 전송될 수 있습니다.

(2) Buffer 객체를 임시로 배열에 저장하고 마지막으로 이를 큰 Buffer로 조립한 다음 출력용 문자열로 인코딩합니다.

버퍼는 파일 I/O 및 네트워크 I/O에 널리 사용됩니다. 성능이 매우 중요하며 일반 문자열보다 성능이 훨씬 높습니다.

문자열 변환 시 성능 손실 외에도 Buffer를 사용하면 파일을 읽을 때 성능에 중요한 highWaterMark 설정이 있습니다.

a. highWaterMark 설정은 버퍼 메모리 할당 및 사용에 일정한 영향을 미칩니다.

b. highWaterMark를 너무 작게 설정하면 시스템 호출이 너무 많아질 수 있습니다.

버퍼를 사용해야 하는 경우와 사용하지 않는 경우 ------ 순수 자바스크립트는 유니코드 코드를 지원하지만 바이너리는 지원하지 않습니다. utf-8 문자열, 바이너리 및 기타 형식을 사용하려면 "버퍼"를 사용해야 합니다.

3. 사례 소개

코드 복사 코드는 다음과 같습니다.

var buf = new Buffer("텍스트 연결 테스트입니다!") ,str = "텍스트 연결 테스트입니다!" console.time("버퍼 연결 테스트 !");
var 목록 = [] ;
var len = 100000 * buf.length ;
for(var i=0;i<100000;i ){
List.push(buf) ;
len = buf.length ;
}
var s1 = Buffer.concat(list, len).toString() ;
console.timeEnd("버퍼 연결 테스트 !") ;
console.time("문자열 연결 테스트 !") ;
var 목록 = [] ;
for (var i = 100000; i >= 0; i--) {
List.push(str) ;
}
var s2 = list.join("") ;
console.timeEnd("문자열 연결 테스트 !") ;

결과는 다음과 같습니다.

문자열 읽기 속도가 확실히 빨라지고 버퍼에도 toString() 작업이 필요합니다. 따라서 문자열을 저장할 때에도 문자열을 사용해야 합니다. 큰 문자열을 문자열로 이어붙여도 버퍼보다 ​​느리지는 않습니다.

그럼 언제 버퍼를 다시 사용해야 할까요? 다른 방법이 없으면 UTF-8이 아닌 문자열, 바이너리 및 기타 형식을 저장할 때 이를 사용해야 합니다.

넷, 요약

(1), JavaScript는 유니코드로 인코딩된 데이터를 처리하는 데 적합하지만 바이너리 데이터를 처리하는 데는 적합하지 않습니다.
(2)이므로 TCP 스트림이나 파일 시스템을 처리할 때 옥텟 스트림을 처리해야 합니다.
(3), 노드에는 옥텟 스트림을 처리, 생성 및 소비하는 여러 가지 방법이 있습니다.
(4) 원본 데이터는 Buffer 인스턴스에 저장됩니다. Buffer는 정수 배열과 유사하지만 메모리가 V8 스택 외부에 할당됩니다. 버퍼의 크기는 변경할 수 없습니다.
(5) 처리되는 인코딩 유형은 ascii, utf8, utf16le, ucs2(utf16le의 별칭), base64, 바이너리, hex입니다.
(6), Buffer는 전역 요소이며 new Buffer()를 사용하여 Buffer 인스턴스를 직접 가져올 수 있습니다.