Node.js의 Stream API 사용에 대한 간략한 분석

이 글에서는 node.js 스트림 API를 더 얕은 것부터 더 깊은 것까지 소개합니다. 자세한 내용은 아래를 참조하세요.

기본 소개

Node.js에는 파일을 읽는 방법이 두 가지가 있는데, 하나는 fs.readFile을 사용하는 것이고, 다른 하나는 fs.createReadStream을 사용하여 읽는 것입니다.

fs.readFile은 모든 Node.js 사용자에게 가장 친숙하며 이해하기 쉽고 사용하기 쉽습니다. 그러나 단점은 모든 데이터가 먼저 메모리로 읽혀진다는 것입니다. 일단 큰 파일이 발견되면 이 방법으로 읽는 효율성은 매우 낮습니다.

그리고 fs.createReadStream은 Stream을 통해 데이터를 읽습니다. 파일(데이터)을 작은 조각으로 나눈 다음 이러한 이벤트를 수신하고 특정 처리 기능을 작성할 수 있습니다. 이 방법은 위에 비해 사용하기 쉽지는 않지만 매우 효율적입니다.

사실 Stream은 Node.js에서 파일 처리에만 사용되는 것이 아니라 process.stdin/stdout, http, tcp 소켓, zlib, crypto 등과 같은 다른 곳에서도 볼 수 있습니다. 유용한.

이 글은 Node.js의 Stream API에 대해 제가 배운 내용을 요약한 것입니다. 이 글이 모든 사람에게 도움이 되기를 바랍니다.

특징

이벤트 기반 통신

파이프를 통해 스트림을 연결할 수 있습니다

유형

읽기 가능한 스트림 읽기 가능한 데이터 스트림

Writeable Stream 쓰기 가능한 데이터 스트림

Duplex Stream 양방향 데이터 스트림, 동시에 읽고 쓸 수 있음

Transform Stream 변환 데이터 스트림, 읽고 쓸 수 있음, 변환(처리) 가능

이벤트

읽을 수 있는 데이터 흐름 이벤트

데이터가 유출될 때 읽을 수 있음

데이터 명시적으로 지정되지 않은 데이터 흐름의 경우 일시 중지, 데이터 추가 이벤트 청취 기능은 데이터 흐름을 동적으로 흐름으로 전환하고 데이터를 읽으면 최대한 빨리

end가 트리거됩니다. writeableStream.end()와 혼동해서는 안 됩니다. WriteableStream에는 종료 이벤트가 없으며, 데이터 소스가 닫힐 때 .end() 메소드

close만 트리거됩니다

오류 데이터를 읽는 동안 오류가 발생하면 트리거됩니다

쓰기 가능한 데이터 스트림 이벤트

drain writable.write(chunk)가 false를 반환하면

완료됩니다. 다시 쓸 수 있을 때 호출이 트리거됩니다. end 메서드는 캐시된 모든 데이터가 해제된 후에 트리거됩니다. 이는 읽기 가능한 데이터 스트림의 end 이벤트와 유사하며 쓰기 프로세스의 종료를 나타냅니다.

파이프가 트리거됩니다. 파이프 대상으로 사용될 때

오류가 발생할 때 트리거됩니다.

상태

읽을 수 있는 데이터 흐름에는 두 가지 상태가 있습니다. : 흐름 동적 및 일시 중지 상태. 데이터 흐름 상태를 변경하는 방법은 다음과 같습니다.

일시 중지 상태->흐름 역학

데이터 이벤트에 대한 청취 기능 추가

resume 메소드 호출

파이프 메소드 호출

참고: 스트리밍 다이나믹스로 변환할 때 데이터 이벤트에 대한 수신 기능이 없고 파이프 메소드에 대한 대상이 없는 경우 데이터는 잃어버린.

스트리밍 역학-> Pause 상태

파이프 방식의 대상이 없는 경우 일시 정지 메소드 호출

파이프 방식의 대상이 있는 경우 제거 모든 데이터 이벤트 청취 기능 및 unpipe 메소드를 호출하여 모든 파이프 메소드의 대상 제거

참고: 데이터 이벤트의 청취 기능을 제거한다고 해서 데이터 흐름이 자동으로 "일시 중지 상태"로 들어가지는 않습니다. . 또한 파이프 메소드의 대상이 있을 때 일시 중지 메소드를 호출한다고 해서 데이터 흐름이 항상 일시 중지되는 것은 아닙니다. 해당 대상이 데이터 요청을 발행하면 데이터 흐름이 계속해서 데이터를 제공할 수 있습니다.

사용법

파일 읽기 및 쓰기

자세한 사용법은

var fs = require('fs');
// 新建可读数据流
var rs = fs.createReadStream('./test1.txt');
// 新建可写数据流
var ws = fs.createWriteStream('./test2.txt');
// 监听可读数据流结束事件
rs.on('end', function() {
 console.log('read text1.txt successfully!');
});
// 监听可写数据流结束事件
ws.on('finish', function() {
 console.log('write text2.txt successfully!');
});
// 把可读数据流转换成流动态，流进可写数据流中
rs.pipe(ws);
读取 CSV 文件，并上传数据（我在生产环境中写过）
var fs = require('fs');
var es = require('event-stream');
var csv = require('csv');
var parser = csv.parse();
var transformer = csv.transform(function(record) {
 return record.join(',');
});
var data = fs.createReadStream('./demo.csv');
data
 .pipe(parser)
 .pipe(transformer)
 // 处理前一个 stream 传递过来的数据
 .pipe(es.map(function(data, callback) {
  upload(data, function(err) {
   callback(err);
  });
 }))
 // 相当于监听前一个 stream 的 end 事件
 .pipe(es.wait(function(err, body) {
  process.stdout.write('done!');
 }));

https://github.com/jeresig/node-를 참조하세요. stream -playground 샘플 웹사이트에 접속한 후 add stream을 직접 클릭하면 결과를 확인할 수 있습니다.

일반적인 함정

rs.pipe(ws)를 사용하여 파일을 작성하면 rs의 내용이 ws 뒤에 추가되지 않고 ws의 원본 내용을 rs의 내용으로 직접 덮어씁니다.

종료되거나 닫힌 스트림은 재사용할 수 없으며 데이터 스트림을 다시 생성해야 합니다.

파이프 메소드는 a.pipe(b)가 b를 반환하는 것과 같이 대상 데이터 스트림을 반환하므로 리스너 이벤트를 처리할 때 모니터링하고 있는 객체가 올바른지 주의하세요

여러 데이터 스트림을 모니터링하고 파이프 방식을 사용하여 데이터 스트림을 직렬로 연결하는 경우 다음과 같이 작성해야 합니다. :

data

일반적으로 사용되는 클래스 라이브러리

.on('end', function() {
 console.log('data end');
})
.pipe(a)
.on('end', function() {
 console.log('a end');
})
.pipe(b)
.on('end', function() {
 console.log('b end');
});

event-stream은 함수형 프로그래밍처럼 느껴집니다. 저는 개인적으로

awesome-nodejs#streams를 선호합니다. 다른 스트림 라이브러리 중 하나도 사용되지 않았으므로 필요한 경우 여기를 읽으십시오

위 내용은 Node.js에서 Stream API 사용에 대한 편집자의 소개입니다. .

Node.js에서 Stream API 사용에 대한 더 많은 기사를 보려면 PHP 중국어 웹사이트를 주목하세요!