Comment encoder de gros flux de données en JSON sans saturation de la mémoire ?

Encodage de grands flux de données sans saturation de la mémoire

Lorsque vous travaillez avec de grands ensembles de données nécessitant un encodage au format JSON, le comportement par défaut du package json peut être inefficace. Cela nécessite de charger l'intégralité de l'ensemble de données en mémoire avant l'encodage, ce qui peut entraîner des problèmes de performances.

Pour résoudre cette limitation, considérons un scénario dans lequel nous avons une structure t avec un champ Foo et un canal Bar qui diffuse des objets. Nous voulons encoder t en JSON sans garder l'intégralité du contenu de Bar en mémoire.

Encodage JSON personnalisé avec manipulation d'octets

Actuellement, le package json ne prend pas en charge l'encodage en streaming. Une solution de contournement consiste à construire manuellement la chaîne JSON en écrivant dans un flux d'octets. Cela peut être fait comme suit :

w := os.Stdout
w.WriteString(`{ "Foo": "` + t.Foo + `", "Bar": [`)

for x := range t.Bar {
    _ = json.NewEncoder(w).Encode(x)
    w.WriteString(`,`)
}

w.WriteString(`]}`)

Repenser l'API de l'encodeur JSON

Un package d'encodage/json amélioré inclurait une interface Marshaler révisée qui permet l'encodage en streaming. Cela ressemblerait à quelque chose comme :

type Marshaler interface {
    MarshalJSON(io.Writer) error
}

Correction du package encoding/json (facultatif)

Si le package encoding/json ne répond pas à vos exigences, vous pouvez envisager de le corriger. Voici une modification possible pour gérer les chaînes de streaming :

case reflect.Chan:
    e.WriteByte('[')
    i := 0
    for {
        x, ok := v.Recv()
        if !ok {
            break
        }
        if i > 0 {
            e.WriteByte(',')
        }
        e.reflectValue(x)
        i++
    }
    e.WriteByte(']')

N'oubliez pas que l'application de correctifs à la bibliothèque standard doit être effectuée avec prudence et pourrait introduire des problèmes de compatibilité.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!