Nodejs 学習メモストリーム module_node.js-jsチュートリアル-php.cn

1、分析を開始します

Stream は、Node 内の多くのオブジェクトによって実装される抽象インターフェイスです。たとえば、HTTP サーバーへのリクエストはストリームであり、stdout もストリームです。ストリームは読み取り可能、書き込み可能、またはその両方です。

Stream への最初の取り組みは Unix の初期に始まり、数十年にわたる実践により、Stream のアイデアがいくつかの巨大なシステムを簡単に開発できることが証明されました。

Unix では、Stream は「|」によって実装されます。ノードでは、組み込みストリームモジュールとして、多くのコアモジュールとサードパーティモジュールが使用されます。

Unix と同様に、ノードストリームの主な操作も .pipe() であり、ユーザーはアンチプレッシャーメカニズムを使用して読み取りと書き込みのバランスを制御できます。

Stream は、再利用可能な統合インターフェイスを開発者に提供し、抽象的な Stream インターフェイスを通じてストリーム間の読み取りと書き込みのバランスを制御できます。

TCP 接続は読み取り可能なストリームと書き込み可能なストリームの両方ですが、HTTP 要求オブジェクトは読み取り可能なストリームであり、http 応答オブジェクトは書き込み可能なストリームです。

ストリーム送信プロセスは、他のエンコード方式を設定しない限り、デフォルトでバッファ形式で送信されます。次に例を示します。

コードをコピーしますコードは次のとおりです:

var http = require('http') ;

var サーバー = http.createServer(function(req,res){

res.writeHeader(200, {'Content-Type': 'text/plain'}) ;

res.end("こんにちは、ビッグベア!") ;

}) ;

サーバー.listen(8888) ;

console.log("http サーバーはポート 8888 で実行されています...") ;

実行後に文字化けが発生するのは、「utf-8」などの文字セットが設定されていないことが原因です。

それを変更するだけです:

コードをコピーしますコードは次のとおりです:

var http = require('http') ;

var サーバー = http.createServer(function(req,res){

res.writeHeader(200,{

'Content-Type' : 'text/plain;charset=utf-8' // charset=utf-8 を追加

}) ;

res.end("こんにちは、ビッグベア!") ;

}) ;

サーバー.listen(8888) ;

console.log("http サーバーはポート 8888 で実行されています ...") ;

実行結果:

ストリームを使用する理由

ノードの I/O は非同期であるため、ディスクとネットワークへの読み取りと書き込みにはデータを読み取るためのコールバック関数が必要です。以下はファイルのダウンロードの例です
。上記のコード:

コードをコピーしますコードは次のとおりです:

var http = require('http') ;

var fs = require('fs') ;

var server = http.createServer(function (req, res) {

fs.readFile(__dirname '/data.txt', function (err, data) {

res.end(data);

}) ;

}) ;

サーバー.listen(8888) ;

コードは必要な機能を実現できますが、「data.txt」ファイルが非常に大きい場合、サービスはファイルデータ全体をメモリにキャッシュする必要があります。

サイズが大きく、同時実行の量が多い場合、大量のメモリが浪費されます。ユーザーはファイルデータを受け入れる前に、ファイル全体がメモリにキャッシュされるまで待つ必要があるため、結果は
になります。ユーザーエクスペリエンスはかなり悪いです。幸いなことに、両方のパラメータ (req、res) は Stream なので、fs.readFile() の代わりに fs.createReadStream() を使用できます。以下のように:

コードをコピーしますコードは次のとおりです:

var http = require('http') ;
var fs = require('fs') ;
var server = http.createServer(function (req, res) {
var stream = fs.createReadStream(__dirname '/data.txt') ;
Stream.pipe(res) ;
}) ;
サーバー.listen(8888) ;

.pipe() メソッドは fs.createReadStream() の 'data' および 'end' イベントをリッスンするため、「data.txt」ファイル全体をキャッシュする必要はありません
ファイルを使用すると、クライアント接続が完了した直後にデータブロックをクライアントに送信できます。 .pipe() を使用するもう 1 つの利点は、クライアントが
の場合に問題を解決できることです。非常に長いエンドツーエンドの遅延によって引き起こされる読み取りと書き込みの不均衡の問題。

基本的なストリームには、読み取り可能、書き込み可能、変換、二重、および「クラシック」の 5 つがあります。 (具体的な使い方についてはAPIをご確認ください)

2.事例の紹介

処理する必要のあるデータを一度にメモリにロードできない場合、または読み取りと処理を同時に行う方が効率的である場合、データストリームを使用する必要があります。 NodeJS は、さまざまなストリームを通じてデータストリームに対する操作を提供します。

大きなファイルのコピープログラムを例として、データソースの読み取り専用データストリームを作成できます。例は次のとおりです。

コードをコピーしますコードは次のとおりです:

var rs = fs.createReadStream(パス名);

rs.on('データ', 関数 (チャンク) {

doSomething(chunk); // 自由に詳細を試してください

});

rs.on('end', function () {

cleanUp() ;

}) ;

コード内のデータイベントは、doSomething 関数が処理できるかどうかに関係なく、継続的にトリガーされます。この問題を解決するために、コードを次のように引き続き変更できます。

コードをコピーしますコードは次のとおりです:

var rs = fs.createReadStream(src) ;

rs.on('データ', 関数 (チャンク) {

rs.pause() ;

doSomething(chunk, function () {

rs.resume() ;

}) ;

}) ;

rs.on('end', function () {

cleanUp();

}) ;

doSomething 関数にコールバックが追加されたため、データを処理する前にデータの読み取りを一時停止し、データの処理後にデータの読み取りを続行できます。
さらに、次のように、データターゲットの書き込み専用データストリームを作成することもできます。

コードをコピーしますコードは次のとおりです:

var rs = fs.createReadStream(src) ;

var ws = fs.createWriteStream(dst) ;

rs.on('データ', 関数 (チャンク) {

ws.write(chunk);

}) ;

rs.on('end', function () {

ws.end();

}) ;

doSomething が書き込み専用データストリームにデータを書き込むことで置き換えられた後、上記のコードはファイルコピープログラムのように見えます。ただし、上記のコードには、書き込み速度が読み取り速度に追いつかない場合、書き込み専用データストリーム内のキャッシュがバーストしてしまうという問題があります。 .write メソッドの戻り値を使用して、受信データがターゲットに書き込まれるかキャッシュに一時的に配置されるかを判断できます。また、ドレインイベントに基づいて、書き込み専用データストリームがいつデータを書き込んだかを判断できます。キャッシュ内でターゲットに書き込むと、次に書き込まれるデータを渡すことができます。コードは次のようになります:

コードをコピーしますコードは次のとおりです:

var rs = fs.createReadStream(src) ;

var ws = fs.createWriteStream(dst) ;

rs.on('データ', 関数 (チャンク) {

If (ws.write(chunk) === false) {

rs.pause() ;

}

}) ;

rs.on('end', function () {

ws.end();

});

ws.on('ドレイン', function () {

rs.resume();

}) ;

ついに読み取り専用データフローから書き込み専用データフローへのデータ転送を実現し、防爆倉庫制御を組み込みました。上記の大きなファイルのコピープログラムなど、これには多くの使用シナリオがあるため、NodeJS はこれを行うための .pipe メソッドを直接提供しており、その内部実装は上記のコードと似ています。

ファイルをコピーするより完全なプロセスは次のとおりです:

コードをコピーコードは次のとおりです:

var fs = require('fs'),

  パス = require('パス'),

  out = process.stdout;

var filePath = '/bb/bigbear.mkv';

var readStream = fs.createReadStream(filePath);

var writeStream = fs.createWriteStream('file.mkv');

var stat = fs.statSync(filePath);

var totalSize = stat.size;

var allowedLength = 0;

var lastSize = 0;

var startTime = Date.now();

readStream.on('data', function(chunk) {

  渡された長さ = chunk.length;

  if (writeStream.write(chunk) === false) {

    readStream.pause();

  }

});

readStream.on('end', function() {

  writeStream.end();

});

writeStream.on('ドレイン', function() {

  readStream.resume();

});

setTimeout(function show() {

  var パーセント = Math.ceil((passedLength / totalSize) * 100);

  var size = Math.ceil(passedLength / 1000000);

  var diff = サイズ - lastSize;

  lastSize = サイズ;

  out.clearLine();

  out.cursorTo(0);

  out.write('すでに完了' サイズ 'MB, ' パーセント '%, 速度：' diff * 2 'MB/s');

  if (passedLength 
    setTimeout(show, 500);

  } else {

    var endTime = Date.now();

    console.log();

    console.log('共用時間：' (endTime - startTime) / 1000 '秒。');

  }

}, 500);