Wie kann ich große JSON-Arrays effizient verarbeiten, ohne sie vollständig in den Speicher in Go zu laden?

Dekodierung großer JSON-Streams

Beim Umgang mit riesigen JSON-Arrays, die in Dateien gespeichert sind, ist es wichtig, das Laden des gesamten Arrays in den Speicher zu vermeiden, da dies zu Out- Speicherfehler. Erwägen Sie stattdessen, die JSON-Daten Element für Element zu streamen.

Ein Ansatz, dies zu erreichen, wird in der Codierungs-/JSON-Dokumentation demonstriert:

package main

import (
    "encoding/json"
    "fmt"
    "log"
    "strings"
)

func main() {
    const jsonStream = `
                [
                    {"Name": "Ed", "Text": "Knock knock."},
                    {"Name": "Sam", "Text": "Who's there?"},
                    {"Name": "Ed", "Text": "Go fmt."},
                    {"Name": "Sam", "Text": "Go fmt who?"},
                    {"Name": "Ed", "Text": "Go fmt yourself!"}
                ]
            `
    type Message struct {
        Name, Text string
    }
    dec := json.NewDecoder(strings.NewReader(jsonStream))

    // read open bracket
    t, err := dec.Token()
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("%T: %v\n", t, t)

    // while the array contains values
    for dec.More() {
        var m Message
        // decode an array value (Message)
        err := dec.Decode(&m)
        if err != nil {
            log.Fatal(err)
        }

        fmt.Printf("%v: %v\n", m.Name, m.Text)
    }

    // read closing bracket
    t, err = dec.Token()
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("%T: %v\n", t, t)

}

In diesem Beispielcode:

• Ein Decoder-Objekt (dec) wird erstellt, um JSON-Daten aus einer Zeichenfolge zu lesen.
• Der Decoder liest Token einzeln, Beginnend mit der öffnenden Klammer des Arrays.
• Eine for-Schleife durchläuft Array-Elemente und parst sie in eine Nachrichtenstruktur.
• Die Namen und der Text jeder Nachricht werden gedruckt.
• Die Schleife wird fortgesetzt, bis keine weiteren Elemente im Array verfügbar sind, was durch die Funktion dec.More() angezeigt wird.
• Schließlich liest und druckt der Decoder die schließende Klammer des Arrays.

Mit diesem Ansatz können Sie ein großes JSON-Array streamen, ohne die gesamte Datenstruktur in den Speicher zu laden, wodurch die Ressourcennutzung optimiert und eine effiziente Verarbeitung ermöglicht wird.

Das obige ist der detaillierte Inhalt vonWie kann ich große JSON-Arrays effizient verarbeiten, ohne sie vollständig in den Speicher in Go zu laden?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!