Wie können wir große Datenmengen in JSON streamen, ohne alle Objekte in den Speicher zu laden?

Kodieren großer Datenströme mit MarshalJSON, ohne alle Objekte im Speicher zu laden

Sie möchten einen großen Datenstrom mit json.Encoder kodieren, ohne ihn zu laden Alles auf einmal in den Speicher zu speichern, ist ein häufiges Problem. Leider bietet das Paket „encoding/json“ dafür keine direkte Unterstützung.

Aktuelle Problemumgehung

Die aktuelle Lösung besteht, wie Sie erwähnt haben, darin, die JSON-Zeichenfolge manuell zu erstellen selbst. Dabei wird die JSON-Struktur Stück für Stück geschrieben, sobald Daten aus dem Stream verfügbar werden. Dies ist ein effizienter Ansatz, der jedoch mühsam und fehleranfällig sein kann.

Vorgeschlagener Patch

Um diesen Prozess zu verbessern, könnte man das Encoding/JSON-Paket ändern. Insbesondere könnte die Funktion „reflectValueQuoted“ in „encoding/json/encode.go“ geändert werden, um Kanäle wie Arrays zu verarbeiten. Dies würde das direkte Streaming von Daten von Kanälen in die JSON-Ausgabe ermöglichen.

Hier ist eine vorgeschlagene Änderung am Array-Fall in ReflectValueQuoted:

<code class="go">case reflect.Array:
    e.WriteByte('[')
    n := v.Len()
    for i := 0; i < n; i++ {
        if i > 0 {
            e.WriteByte(',')
        }
        e.reflectValue(v.Index(i))
    }
    e.WriteByte(']')

// Add the following case for channels:
case reflect.Chan:
    e.WriteByte('[')
    i := 0
    for {
        x, ok := v.Recv()
        if !ok {
            break
        }
        if i > 0 {
            e.WriteByte(',')
        }
        e.reflectValue(x)
        i++
    }
    e.WriteByte(']')</code>

Vorteile des Patches

Dieser Patch würde es viel einfacher machen, große Datenströme zu kodieren, ohne alle Objekte in den Speicher zu laden. Es würde auch die Notwendigkeit einer manuellen Zeichenfolgenverkettung überflüssig machen, das Fehlerrisiko verringern und die Lesbarkeit des Codes verbessern.

Fazit

Obwohl der vorgeschlagene Patch nicht Teil des aktuellen ist Encoding/json-Paket zeigt eine potenzielle Verbesserung, die das Streaming von JSON-Daten effizienter und bequemer machen könnte.

Das obige ist der detaillierte Inhalt vonWie können wir große Datenmengen in JSON streamen, ohne alle Objekte in den Speicher zu laden?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!