如何高效地将 Go 结构体序列化到磁盘并最小化文件大小？-Golang-PHP中文网

如何高效地将 Go 结构体序列化到磁盘并最小化文件大小？

Linda Hamilton

发布： 2024-12-26 12:16:14

原创

697 人浏览过

How Can I Efficiently Serialize Go Structs to Disk and Minimize File Size?

结构到磁盘的高效 Go 序列化

问题：

通过最小化优化序列化性能使用以下命令将结构编码到磁盘时输出会膨胀gob.

建议的解决方案：

虽然 gob 包提供了高效的序列化，但它在编码中包含类型信息，导致每个唯一类型的初始开销为 26 个字节。对于具有多个实例的结构，此开销可以在它们之间分摊。

替代方案：

对于即使这种开销也是不可接受的应用程序，请考虑使用诸如 flate 之类的压缩技术， zlib、gzip 或 bzip2 以进一步减小输出大小50-80%。

示例：

以下代码演示了使用 gob 的单个 Entry 的开销：

package main

import (
    "bytes"
    "encoding/gob"
    "fmt"
)

type Entry struct {
    Key string
    Val string
}

func main() {
    var buf bytes.Buffer
    enc := gob.NewEncoder(&buf)
    e := Entry{"k1", "v1"}
    enc.Encode(e)
    fmt.Println(buf.Len()) // Prints 48 bytes
}

登录后复制

如果多个实例的 Entry 被序列化，开销被摊销：

for i := 0; i < 1000; i++ {
    e.Key = fmt.Sprintf("k%3d", i)
    e.Val = fmt.Sprintf("v%3d", i)
    enc.Encode(e)
}
fmt.Println(buf.Len()) // Prints 16036 bytes = 16.04 bytes/Entry

登录后复制

实现想要紧凑的序列化格式，可以使用额外的压缩技术：

import (
    "compress/bzip2"
    "compress/flate"
    "compress/gzip"
    "compress/zlib"
)

var out io.Writer
switch name {
case "Naked":
    out = buf
case "flate":
    out, _ = flate.NewWriter(buf, flate.DefaultCompression)
case "zlib":
    out, _ = zlib.NewWriterLevel(buf, zlib.DefaultCompression)
case "gzip":
    out = gzip.NewWriter(buf)
case "bzip2":
    out, _ = bzip2.NewWriter(buf, nil)
}

登录后复制

使用压缩技术得到的输出大小：