如何在不加载到内存的情况下高效地以 JSON 形式编组大型数据流？

以 JSON 形式编组大数据流而不加载到内存中

经常需要将大数据流编码为 JSON，但加载整个数据流立即流入内存可能是不切实际的。本文探讨了在不使用内置 json.Marshaler 接口的情况下克服这一挑战的方法。

使用 json.Encoder 进行编码：限制

尝试对大型流进行编码使用 json.Encoder 处理数据将会失败，因为它无法处理内存中的通道（chan 字符串）。

自定义 JSON 编码

在没有合适的构建的情况下- 在解决方案中，自定义 JSON 编码变得必要。这涉及手动构建 JSON 字符串，如下面的代码片段所示：

w := os.Stdout
w.WriteString(`{ "Foo": "` + t.Foo + `", "Bar": [`)

for x := range t.Bar {
    _ = json.NewEncoder(w).Encode(x)
    w.WriteString(`,`)
}

w.WriteString(`]}`)

扩展encoding/json以支持通道

增强encoding/json包有了通道支持，您可以修改encoding/json/encode.go中的reflectValueQuoted函数。具体来说，为通道添加类似于以下内容的案例：

case reflect.Chan:
    e.WriteByte('[')
    i := 0
    for {
        x, ok := v.Recv()
        if !ok {
            break
        }
        if i > 0 {
            e.WriteByte(',')
        }
        e.reflectValue(x)
        i++
    }
    e.WriteByte(']')

结论

虽然encoding/json包目前不支持通道编码，但本文提供了有效地以 JSON 形式编组大型数据流的替代方法。自定义编码允许将数据直接流式传输到 JSON 输出，而扩展encoding/json 则提供更强大的解决方案。

以上是如何在不加载到内存的情况下高效地以 JSON 形式编组大型数据流？的详细内容。更多信息请关注PHP中文网其他相关文章！