如何对海量 JSON 数组进行流式解码以避免内存问题？

大规模 JSON 数组的流式解码

使用 Unmarshal 时，从文件中检索大型 JSON 数组可能会占用大量内存，因为它会加载整个数组数据立即存入内存。为了解决这个问题，我们可以利用流技术逐个元素地处理数组。

使用流解码器的示例

encoding/json 包提供了流式 JSON 的解决方案加工。以下是包文档中的扩展示例：

package main

import (
    "encoding/json"
    "fmt"
    "log"
    "strings"
)

func main() {
    const jsonStream = `
                [
                    {"Name": "Ed", "Text": "Knock knock."},
                    {"Name": "Sam", "Text": "Who's there?"},
                    {"Name": "Ed", "Text": "Go fmt."},
                    {"Name": "Sam", "Text": "Go fmt who?"},
                    {"Name": "Ed", "Text": "Go fmt yourself!"}
                ]
            `
    type Message struct {
        Name, Text string
    }
    dec := json.NewDecoder(strings.NewReader(jsonStream))

    // read open bracket
    t, err := dec.Token()
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("%T: %v\n", t, t)

    // while the array contains values
    for dec.More() {
        var m Message
        // decode an array value (Message)
        err := dec.Decode(&m)
        if err != nil {
            log.Fatal(err)
        }

        fmt.Printf("%v: %v\n", m.Name, m.Text)
    }

    // read closing bracket
    t, err = dec.Token()
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("%T: %v\n", t, t)

}

在此示例中，我们创建一个流解码器 (dec) 并在循环中使用 dec.More() 来迭代数组元素。每条消息都会被解码并打印其内容，而无需将整个数组加载到内存中。

以上是如何对海量 JSON 数组进行流式解码以避免内存问题？的详细内容。更多信息请关注PHP中文网其他相关文章！