Detaillierte Erläuterung des Buffer-Moduls in NodeJS_node.js

1, Eröffnungsanalyse

Der sogenannte Pufferpuffer bedeutet „temporärer Speicherbereich“, ein Speicherabschnitt, in dem Eingabe- und Ausgabedaten vorübergehend gespeichert werden.

Die JS-Sprache selbst hat nur einen String-Datentyp und keinen Binärdatentyp, daher stellt NodeJS einen globalen Konstruktorpuffer bereit, der String entspricht, um Operationen für Binärdaten bereitzustellen. Zusätzlich zum Lesen der Datei, um eine Instanz des Puffers zu erhalten, kann sie auch direkt erstellt werden, zum Beispiel:

Code kopieren Der Code lautet wie folgt:

var buffer = new Buffer([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ;

Puffer ähnelt einer Zeichenfolge. Zusätzlich zur Verwendung des .length-Attributs zum Abrufen der Bytelänge können Sie auch die Methode [index] verwenden, um die Bytes an der angegebenen Position zu lesen, zum Beispiel:

Code kopieren Der Code lautet wie folgt:

buffer[0] ; // 0x68;

Puffer und String können ineinander konvertiert werden, indem beispielsweise die angegebene Codierung verwendet wird:

Code kopieren Der Code lautet wie folgt:

var str = buffer.toString("utf-8"); // hallo

Konvertieren Sie die Zeichenfolge in Binärdaten in der angegebenen Codierung:

Code kopieren Der Code lautet wie folgt:

var buffer= new Buffer("hello", "utf-8") ; //

Ein kleiner Unterschied:

Es gibt einen wichtigen Unterschied zwischen Puffer und String. Die Zeichenfolge ist schreibgeschützt und jede Änderung an der Zeichenfolge führt zu einer neuen Zeichenfolge, während die ursprüngliche Zeichenfolge unverändert bleibt.

Puffer ähnelt eher einem C-Spracharray, das Zeigeroperationen ausführen kann. Sie können beispielsweise die Methode [index] verwenden, um die Bytes an einer bestimmten Position direkt zu ändern.

--------------------------------- --- ------------------ --- ------------------ --- ------------------ --- --------------------------------

Die

slice-Methode gibt keinen neuen Puffer zurück, sondern einen Zeiger auf eine Position in der Mitte des ursprünglichen Puffers, wie unten gezeigt.

[ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]

                                                              |
bin bin.slice(2)
Daher wirken sich Änderungen am von der Slice-Methode zurückgegebenen Puffer auf den ursprünglichen Puffer aus, zum Beispiel:

Code kopieren Der Code lautet wie folgt:

var buffer= new Buffer([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ;

var sub = bin.slice(2) ;
sub[0] = 0x65;
console.log(buffer); //

Wenn Sie einen Puffer kopieren möchten, müssen Sie zunächst einen neuen Puffer erstellen und die Daten über die .copy-Methode in den ursprünglichen Puffer kopieren.

Dies ähnelt der Beantragung eines neuen Speichers und dem Kopieren der Daten in den vorhandenen Speicher. Unten finden Sie ein Beispiel.

Code kopieren Der Code lautet wie folgt:

var buffer= new Buffer([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ;

var dup = new Buffer(bin.length) ;
buffer.copy(dup) ;
dup[0] = 0x48 ;
console.log(buffer); //
console.log(dup) ; //

Kurz gesagt, Buffer erweitert die Datenverarbeitungsfähigkeiten von JS von Strings auf beliebige Binärdaten.

Das Obige ist eine kurze Einführung in Buffer. Lassen Sie uns über die Verwendung und die spezifischen Verwendungsszenarien sprechen.

Zweitens, lass uns über Puffer reden

JavaScript ist sehr benutzerfreundlich für die String-Verarbeitung. Unabhängig davon, ob es sich um einen Wide-Byte- oder einen Single-Byte-String handelt, wird er als String betrachtet. Der Knoten muss Netzwerkprotokolle verarbeiten, Datenbanken betreiben, Bilder verarbeiten, Dateien hochladen usw. Er muss auch eine große Menge an Binärdaten verarbeiten. Die integrierten Zeichenfolgen erfüllen diese Anforderungen bei weitem nicht, daher wurde Buffer ins Leben gerufen.

Pufferstruktur

Buffer ist ein typisches Modul, das Javascript und C kombiniert. Die leistungsbezogenen Teile werden in C implementiert, und die nicht leistungsbezogenen Teile werden in JavaScript implementiert.

Der Knoten hat den Puffer bereits in den Speicher geladen, als der Prozess startet, und fügt ihn in das globale Objekt ein, sodass keine Anforderung erforderlich ist

Pufferobjekt: Ähnlich wie bei einem Array sind seine Elemente zweistellige Hexadezimalziffern.

Pufferspeicherzuweisung

Die Speicherzuweisung des Pufferobjekts befindet sich nicht im Heapspeicher von V8. Die Speicheranwendung ist auf der C-Ebene von Node implementiert.

Um den angeforderten Speicher effizient zu nutzen, übernimmt Node den Slab-Zuweisungsmechanismus. Slab ist ein dynamischer Speicherverwaltungsmechanismus, der verschiedene *nix-Betriebssysteme anwendet. Platte hat drei Zustände:

(1) voll: vollständig zugewiesener Status

(2) teilweise: Teilzuordnungsstatus

(3) leer: kein zugewiesener Status

Pufferkonvertierung

Pufferobjekte können in und aus Zeichenfolgen konvertiert werden. Die unterstützten Kodierungstypen sind wie folgt:

ASCII, UTF-8, UTF-16LE/UCS-2, Base64, Binär, Hex

String to Buffer

neuer Puffer(str, [Kodierung]), Standard UTF-8
buf.write(string, [offset], [length], [encoding])

Puffer zu String

buf.toString([encoding], [start], [end])

Kodierungstyp wird von Buffer nicht unterstützt

Bestimmen Sie, ob es von Buffer.isEncoding(encoding) unterstützt wird

iconv-lite: reine JavaScript-Implementierung, geringeres Gewicht, bessere Leistung ohne C-zu-Javascript-Konvertierung

iconv: Rufen Sie zum Abschluss die libiconv-Bibliothek von C auf

Pufferspleißen

Achten Sie auf „res.on(‘data‘, function(chunk) {})“. Durch direktes Spleißen wird es automatisch in eine Zeichenfolge umgewandelt kann generiert werden,

Lösung:

(1) Durch die setEncoding()-Methode im lesbaren Stream ermöglicht diese Methode die Übertragung des Datenereignisses nicht mehr als Pufferobjekt, sondern als codierte Zeichenfolge, die intern das StringEncoder-Modul verwendet.

(2) Speichern Sie das Buffer-Objekt vorübergehend in einem Array, fügen Sie es schließlich zu einem großen Buffer zusammen und codieren Sie es dann zur Ausgabe in eine Zeichenfolge.

Puffer wird häufig bei Datei-E/A und Netzwerk-E/A verwendet. Seine Leistung ist sehr wichtig und seine Leistung ist viel höher als die von gewöhnlichen Zeichenfolgen.

Zusätzlich zum Leistungsverlust beim Konvertieren von Zeichenfolgen hat die Verwendung von Buffer eine hohe WaterMark-Einstellung zur Folge, die für die Leistung beim Lesen von Dateien entscheidend ist.

a. Die highWaterMark-Einstellung hat einen gewissen Einfluss auf die Zuweisung und Nutzung des Pufferspeichers.

b. Eine zu kleine Einstellung von highWaterMark kann zu zu vielen Systemaufrufen führen.

Wann Puffer verwendet werden soll und wann nicht ------ Reines Javascript unterstützt Unicode-Code, aber keinen Binärcode. Beim Umgang mit TCP-Streams oder Datei-Streams ist es notwendig, den Stream zu verarbeiten. UTF-8-Zeichenfolgen, Binärformate und andere Formate müssen wir „Puffer“ verwenden.

3. Einführung von Beispielen

Code kopieren Der Code lautet wie folgt:

var buf = new Buffer("das ist ein Text-Concat-Test!"),str = "das ist ein Text-Concat-Test!";
console.time("buffer concat test !");
var list = [] ;
var len = 100000 * buf.length ;
for(var i=0;i<100000;i ){
List.push(buf) ;
len = buf.length ;
}
var s1 = Buffer.concat(list, len).toString() ;
console.timeEnd("buffer concat test !") ;
console.time("string concat test !") ;
var list = [] ;
für (var i = 100000; i >= 0; i--) {
List.push(str) ;
}
var s2 = list.join("") ;
console.timeEnd("string concat test !") ;

Das Folgende sind die Ergebnisse:

Die Lesegeschwindigkeit von Zeichenfolgen ist definitiv schneller und der Puffer benötigt auch die Operation toString(). Wenn wir also eine Zeichenfolge speichern, sollten wir weiterhin eine Zeichenfolge verwenden. Auch wenn eine große Zeichenfolge zu einer Zeichenfolge gespleißt wird, ist sie nicht langsamer als der Puffer.

Wann müssen wir also wieder Puffer verwenden? Wenn es keine andere Möglichkeit gibt und wir Nicht-UTF-8-Zeichenfolgen, Binärformate und andere Formate speichern, müssen wir diese verwenden.

Viertens, Zusammenfassung

(1) JavaScript eignet sich für die Verarbeitung von Unicode-codierten Daten, ist jedoch nicht für die Verarbeitung von Binärdaten geeignet.
(2) Daher ist es bei der Verarbeitung von TCP-Streams oder Dateisystemen erforderlich, Oktett-Streams zu verarbeiten.
(3) Node verfügt über mehrere Methoden zum Verarbeiten, Erstellen und Konsumieren von Oktettströmen.
(4) Die Originaldaten werden in einer Buffer-Instanz gespeichert. Ein Buffer ähnelt einem Integer-Array, sein Speicher wird jedoch außerhalb des V8-Stacks zugewiesen. Die Größe eines Puffers kann nicht geändert werden.
(5) Die verarbeiteten Codierungstypen sind: ASCII, UTF8, UTF16LE, UCS2 (Alias ​​​​von UTF16LE), Base64, Binär, Hex.
(6) Buffer ist ein globales Element, und Sie können eine Buffer-Instanz direkt abrufen, indem Sie new Buffer () verwenden.