如何在Go中读取非UTF-8编码的文本文件（例如GBK）？

在 Go 中读取非 UTF-8 文本文件

在 Go 中读取和写入非 UTF-8 文本文件可能具有挑战性，因为标准库采用 UTF-8 编码。本文解决了这个问题，并提供了使用 Go 子存储库的全面解决方案。

问题：

我们如何读取以非 UTF-8 格式编码的文本文件，如GBK，在去吗？

解决方案：

要读取非 UTF-8 编码的文件，我们使用 golang.org/x/text/encoding 包。这个包定义了一个通用字符编码的接口，方便与 UTF-8 之间的转换。

特别是，对于 GBK 编码，我们使用 golang.org/x/text/encoding/simplifiedchinese 子包，提供GB18030、GBK、HZ-GB2312编码实现。这些实现实现了encoding.Encoding接口。

实现：

这里是一个示例，演示GBK编码的读写文件：

package main

import (
    "bufio"
    "fmt"
    "log"
    "os"

    "golang.org/x/text/encoding/simplifiedchinese"
    "golang.org/x/text/transform"
)

var enc = simplifiedchinese.GBK

func main() {
    // Example filename
    const filename = "example_GBK_file"

    exampleWriteGBK(filename)
    exampleReadGBK(filename)
}

func exampleReadGBK(filename string) {
    f, err := os.Open(filename)
    if err != nil {
        log.Fatal(err)
    }

    // Convert GBK to UTF-8 on the fly
    r := transform.NewReader(f, enc.NewDecoder())

    sc := bufio.NewScanner(r)
    for sc.Scan() {
        fmt.Printf("Read line: %s\n", sc.Bytes())
    }
    if err := sc.Err(); err != nil {
        log.Fatal(err)
    }
}

func exampleWriteGBK(filename string) {
    f, err := os.Create(filename)
    if err != nil {
        log.Fatal(err)
    }

    w := transform.NewWriter(f, enc.NewEncoder())

    // Example text with Chinese characters
    _, err = fmt.Fprintln(w,
        `In 1995, China National Information Technology Standardization
Technical Committee set down the Chinese Internal Code Specification
(Chinese: 汉字内码扩展规范（GBK）; pinyin: Hànzì Nèimǎ
Kuòzhǎn Guīfàn (GBK)), Version 1.0, known as GBK 1.0, which is a
slight extension of Codepage 936. The newly added 95 characters were not
found in GB 13000.1-1993, and were provisionally assigned Unicode PUA
code points.`)
    if err != nil {
        log.Fatal(err)
    }
}

游乐场：

https://go.dev/play/p/fFIy9VES6cL

以上是如何在Go中读取非UTF-8编码的文本文件（例如GBK）？的详细内容。更多信息请关注PHP中文网其他相关文章！