Eine kurze Analyse der Verwendung der Stream-API in Node.js

In diesem Artikel wird Ihnen die Stream-API von node.js von der oberflächlichen bis zur tieferen Ebene vorgestellt. Weitere Einzelheiten finden Sie weiter unten.

Grundlegende Einführung

In Node.js gibt es zwei Möglichkeiten, Dateien zu lesen: Eine besteht darin, fs.readFile zu verwenden, die andere darin, fs.createReadStream zum Lesen zu verwenden.

fs.readFile ist jedem Node.js-Benutzer am vertrautesten. Es ist leicht zu verstehen und einfach zu verwenden. Der Nachteil besteht jedoch darin, dass alle Daten zuerst in den Speicher eingelesen werden. Sobald eine große Datei gefunden wird, ist die Effizienz des Lesens auf diese Weise sehr gering.

Und fs.createReadStream liest Daten über Stream. Es teilt die Datei (Daten) in kleine Teile auf und löst dann einige spezifische Ereignisse aus. Wir können diese Ereignisse abhören und spezifische Verarbeitungsfunktionen schreiben. Diese Methode ist im Vergleich zu den oben genannten nicht einfach anzuwenden, aber sehr effizient.

Tatsächlich wird Stream nicht nur für die Dateiverarbeitung in Node.js verwendet, sondern kann auch an anderen Stellen angezeigt werden, z. B. in process.stdin/stdout, http, TCP-Sockets, zlib, crypto usw. Nützlich.

Dieser Artikel ist eine Zusammenfassung meiner Erkenntnisse über die Stream-API in Node.js. Ich hoffe, dass er für alle nützlich sein wird.

Funktionen

Ereignisbasierte Kommunikation

Sie können Streams über Pipe verbinden

Typen

Lesbarer Stream Lesbarer Datenstream

Beschreibbarer Stream beschreibbarer Datenstrom

Duplex Stream bidirektionaler Datenstrom, kann gleichzeitig lesen und schreiben

Transform Stream-Konvertierungsdatenstrom, kann lesen und schreiben, kann konvertieren (verarbeiten) Daten gleichzeitig

Ereignisse

Lesbare Datenflussereignisse

lesbar wird ausgelöst, wenn Daten ausfließen

Daten Für diejenigen Datenflüsse, die nicht explizit sind pausiert, Daten hinzufügen Die Ereignisüberwachungsfunktion schaltet den Datenfluss auf Flussdynamik um und stellt Daten so schnell wie möglich nach außen bereit.

Ende wird ausgelöst, wenn die Daten gelesen werden. Beachten Sie, dass es nicht mit writeableStream.end() verwechselt werden kann. WriteableStream hat kein Endereignis, sondern nur die .end()-Methode

close wird ausgelöst, wenn die Datenquelle geschlossen wird

Fehler wird ausgelöst, wenn beim Lesen von Daten ein Fehler auftritt

Schreibbare Datenstromereignisse

drain writable.write(chunk) gibt false zurück. Nachdem der gesamte Cache geschrieben wurde, wird

beendet Der Aufruf wird ausgelöst, wenn die Endmethode neu geschrieben werden kann. Sie wird ausgelöst, nachdem alle zwischengespeicherten Daten freigegeben wurden, ähnlich dem Endereignis im lesbaren Datenstrom, das das Ende des Schreibvorgangs anzeigt.

Pipe wird ausgelöst wenn es als Pipe-Ziel verwendet wird. Wird ausgelöst, wenn beim Schreiben von Daten ein Fehler auftritt : Flussdynamik und Pausenzustand. Wie folgt:

Flussdynamik

Fügen Sie eine Überwachungsfunktion für das Datenereignis hinzu.

Rufen Sie die Resume-Methode auf

Rufen Sie die Pipe-Methode auf

Hinweis: Wenn es bei der Konvertierung in Streaming-Dynamik keine Überwachungsfunktion für das Datenereignis und kein Ziel für die Pipe-Methode gibt, werden die Daten angezeigt verloren.

Streaming-Dynamik-> Pausenstatus

Wenn es kein Ziel für die Pipe-Methode gibt, rufen Sie die Pause-Methode auf.

Wenn es ein Ziel für die Pipe-Methode gibt, entfernen Sie es Alle Datenereignisse abhören Funktion, und rufen Sie die Unpipe-Methode auf, um die Ziele aller Pipe-Methoden zu entfernen

Hinweis: Nur das Entfernen der Abhörfunktion des Datenereignisses führt nicht automatisch dazu, dass der Datenfluss in den „Pause-Zustand“ wechselt. . Darüber hinaus garantiert der Aufruf der Pause-Methode bei Vorhandensein von Zielen der Pipe-Methode nicht, dass der Datenfluss immer angehalten wird. Sobald diese Ziele Datenanforderungen stellen, stellt der Datenfluss möglicherweise weiterhin Daten bereit.

Verwendung

Dateien lesen und schreiben

Weitere Informationen zur Verwendung

finden Sie unter https://github.com/jeresig/node- Stream-Playground: Klicken Sie nach dem Aufrufen der Beispielwebsite direkt auf „Stream hinzufügen“, um die Ergebnisse anzuzeigen.

Häufige Fallstricke

Beim Verwenden von rs.pipe(ws) zum Schreiben von Dateien wird der Inhalt von rs nicht an die Rückseite von ws angehängt, sondern der ursprüngliche Inhalt von ws wird direkt mit dem Inhalt von rs überschrieben

var fs = require('fs');
// 新建可读数据流
var rs = fs.createReadStream('./test1.txt');
// 新建可写数据流
var ws = fs.createWriteStream('./test2.txt');
// 监听可读数据流结束事件
rs.on('end', function() {
 console.log('read text1.txt successfully!');
});
// 监听可写数据流结束事件
ws.on('finish', function() {
 console.log('write text2.txt successfully!');
});
// 把可读数据流转换成流动态，流进可写数据流中
rs.pipe(ws);
读取 CSV 文件，并上传数据（我在生产环境中写过）
var fs = require('fs');
var es = require('event-stream');
var csv = require('csv');
var parser = csv.parse();
var transformer = csv.transform(function(record) {
 return record.join(',');
});
var data = fs.createReadStream('./demo.csv');
data
 .pipe(parser)
 .pipe(transformer)
 // 处理前一个 stream 传递过来的数据
 .pipe(es.map(function(data, callback) {
  upload(data, function(err) {
   callback(err);
  });
 }))
 // 相当于监听前一个 stream 的 end 事件
 .pipe(es.wait(function(err, body) {
  process.stdout.write('done!');
 }));

Der beendete/geschlossene Stream kann nicht wiederverwendet werden und der Datenstrom muss neu erstellt werden

Die Pipe-Methode gibt den Zieldatenstrom zurück, z. B. a.pipe(b) gibt b zurück, also der Listener Achten Sie beim Umgang mit Ereignissen bitte darauf, ob das von Ihnen überwachte Objekt korrekt ist

Wenn Sie mehrere Datenströme überwachen möchten und die Pipe-Methode verwenden, um die Datenströme in Reihe zu verbinden, müssen Sie schreiben :

Daten

Häufig verwendete Klassenbibliotheken

Event-Stream fühlt sich an wie funktionale Programmierung. Ich persönlich bevorzuge

awesome-nodejs#streams, weil Keine davon wurde verwendet. Wenn Sie sie benötigen, lesen Sie einfach hier.

Der obige Inhalt ist die Einführung des Herausgebers in die Verwendung der Stream-API in Node.js .

.on('end', function() {
 console.log('data end');
})
.pipe(a)
.on('end', function() {
 console.log('a end');
})
.pipe(b)
.on('end', function() {
 console.log('b end');
});

Weitere Artikel zur Verwendung der Stream-API in Node.js finden Sie auf der chinesischen PHP-Website!