如何在記憶體不飽和的情況下將大量資料編碼為 JSON？

在記憶體不飽和的情況下編碼大型資料流

在處理需要編碼為JSON 格式的大型資料集時，json 套件的預設行為可能效率低下。它需要在編碼之前將整個資料集載入到記憶體中，這可能會導致效能問題。

為了解決此限制，請考慮一個場景，其中我們有一個帶有字段 Foo 的 struct t 和一個用於串流傳輸物件的通道 Bar。我們希望將 t 編碼為 JSON，而不將 Bar 的全部內容保留在記憶體中。

使用位元組操作的自訂 JSON 編碼

目前，json 套件缺乏對串流編碼的支援。解決方法是透過寫入位元組流來手動建構 JSON 字串。這可以如下完成：

w := os.Stdout
w.WriteString(`{ "Foo": "` + t.Foo + `", "Bar": [`)

for x := range t.Bar {
    _ = json.NewEncoder(w).Encode(x)
    w.WriteString(`,`)
}

w.WriteString(`]}`)

重新思考 JSON 編碼器 API

改進的編碼/json 套件將包括允許流式編碼的修訂版 Marshaler 介面。這看起來像：

type Marshaler interface {
    MarshalJSON(io.Writer) error
}

修補encoding/json包（可選）

如果encoding/json包不符合您的要求，您可以考慮修補它。以下是處理串流媒體通道的可能修改：

case reflect.Chan:
    e.WriteByte('[')
    i := 0
    for {
        x, ok := v.Recv()
        if !ok {
            break
        }
        if i > 0 {
            e.WriteByte(',')
        }
        e.reflectValue(x)
        i++
    }
    e.WriteByte(']')

請記住，修補標準庫應謹慎進行，可能會引入相容性問題。

以上是如何在記憶體不飽和的情況下將大量資料編碼為 JSON？的詳細內容。更多資訊請關注PHP中文網其他相關文章！