如何在 Go 中高效处理大型 CSV 文件？

Go 中高效读写 CSV 数据

提供的 Go 代码读取包含 10,000 条记录的大型 CSV 文件，执行计算，并然后将原始值写入另一个带有附加分数列的 CSV。然而，这个过程很慢，需要几个小时才能完成。本文研究了 CSV 读写操作中潜在的低效率问题，以优化代码。

一个关键的优化是避免一次将整个文件加载到内存中。原始代码使用ReadAll()将所有记录读取到一个切片中，这对于大文件来说效率不高。相反，首选流式处理方法，即一次处理一行文件。

为了实现这一点，我们可以使用 goroutine 逐行读取 CSV 文件并将记录发送到通道。主 Goroutine 可以使用来自通道的记录，执行计算，并将结果写入输出 CSV。以下是一个示例实现：

<code class="go">func processCSV(rc io.Reader) (ch chan []string) {
    ch = make(chan []string, 10)
    go func() {
        r := csv.NewReader(rc)
        if _, err := r.Read(); err != nil { //read header
            log.Fatal(err)
        }
        defer close(ch)
        for {
            rec, err := r.Read()
            if err != nil {
                if err == io.EOF {
                    break
                }
                log.Fatal(err)

            }
            ch <- rec
        }
    }()
    return
}</code>

在此代码中，processCSV() 函数采用读取器并返回从 CSV 文件发出记录的通道。然后主协程可以使用这个通道来高效地处理和写入记录。

通过使用这种流式处理方法，我们可以显着提高 CSV 读写操作的性能，使代码更有效地处理大型数据。 CSV 文件。

以上是如何在 Go 中高效处理大型 CSV 文件？的详细内容。更多信息请关注PHP中文网其他相关文章！