使用 Node.js 流進行高效能資料處理-js教程-PHP中文網

Efficient Data Handling with Node.js Streams

在本文中，我們將深入研究 Node.js Streams 並了解它們如何幫助高效處理大量資料。串流提供了一種處理大型資料集的優雅方式，例如讀取大型檔案、透過網路傳輸資料或處理即時資訊。與一次性讀取或寫入整個資料的傳統 I/O 操作不同，流將資料分解為可管理的區塊並逐塊處理它們，從而實現高效的記憶體使用。

在本文中，我們將介紹：

什麼是 Node.js 流？
Node.js 中不同類型的流。
如何建立和使用流。
流的真實用例。
使用流的優點。

什麼是 Node.js 流？

Node.js 中的

流是連續的資料流。流對於處理 I/O 密集型任務特別有用，例如讀取檔案、透過網路通訊或與資料庫互動。流無需等待整個操作完成，而是可以分塊處理資料。

流的主要特徵：

事件驅動：流建構在 Node.js 的事件驅動架構之上，允許在資料可用時立即處理資料。
記憶體高效：流將資料分成區塊並逐塊處理，減少系統的記憶體負載。
非阻塞：Node.js 流可以非同步處理大數據，而不會阻塞主事件循環。

Node.js 中的流類型

Node.js 提供四種類型的流：

可讀流：您可以從中讀取資料的流。
可寫入流：可以寫入資料的流。
雙工流：可讀可寫的流（例如網路套接字）。
轉換流：在讀取或寫入時修改或轉換資料的流（例如，壓縮或解壓縮檔）。

使用 Node.js 流

讓我們透過範例來探索每種類型的流。

3.1 可讀流

可讀流允許您逐段讀取數據，這對於處理大檔案或即時資料來源非常有用。


const fs = require('fs');

// Create a readable stream from a large file
const readableStream = fs.createReadStream('largeFile.txt', {
    encoding: 'utf8',
    highWaterMark: 16 * 1024 // 16 KB chunk size
});

readableStream.on('data', (chunk) => {
    console.log('New chunk received:', chunk);
});

readableStream.on('end', () => {
    console.log('Reading file completed');
});

登入後複製

3.2 可寫流

可寫入流用於將資料增量寫入目的地，例如檔案或網路套接字。


const fs = require('fs');

// Create a writable stream to write data to a file
const writableStream = fs.createWriteStream('output.txt');

writableStream.write('Hello, world!\n');
writableStream.write('Writing data chunk by chunk.\n');

// End the stream and close the file
writableStream.end(() => {
    console.log('File writing completed');
});

登入後複製

3.3 雙工流

雙工流可以讀取和寫入資料。一個常見的例子是 TCP 套接字，它可以同時發送和接收資料。


const net = require('net');

// Create a duplex stream (a simple echo server)
const server = net.createServer((socket) => {
    socket.on('data', (data) => {
        console.log('Received:', data.toString());
        // Echo the data back to the client
        socket.write(`Echo: ${data}`);
    });

    socket.on('end', () => {
        console.log('Connection closed');
    });
});

server.listen(8080, () => {
    console.log('Server listening on port 8080');
});

登入後複製

3.4 變換流

轉換流是一種特殊類型的雙工流，它會在資料通過時修改資料。一個常見的用例是檔案壓縮。


const fs = require('fs');
const zlib = require('zlib');

// Create a readable stream for a file and a writable stream for the output file
const readable = fs.createReadStream('input.txt');
const writable = fs.createWriteStream('input.txt.gz');

// Create a transform stream that compresses the file
const gzip = zlib.createGzip();

// Pipe the readable stream into the transform stream, then into the writable stream
readable.pipe(gzip).pipe(writable);

writable.on('finish', () => {
    console.log('File successfully compressed');
});

登入後複製

串流的實際用例

4.1 處理大文件

處理大檔案（例如日誌或媒體）時，將整個檔案載入到記憶體中效率低下，並且可能會導致效能問題。流使您能夠增量讀取或寫入大文件，從而減少記憶體負載。

範例：