首页 > 后端开发 > Golang > 正文

为什么 Go 中读写文件比 Perl 慢很多?

王林
发布: 2024-02-09 21:30:24
转载
897 人浏览过

为什么 Go 中读写文件比 Perl 慢很多?

为什么 Go 中读写文件比 Perl 慢很多?这是很多开发者在使用这两种编程语言时经常遇到的问题。在这篇文章中,php小编草莓将为您解答这个问题。在比较 Go 和 Perl 读写文件的速度时,我们需要考虑到两个关键因素:语言特性和底层实现。Go 语言在文件读写方面的设计理念与 Perl 不同,这导致了它们在性能上的差异。同时,底层实现也是影响读写速度的重要因素。接下来,我们将详细分析这些因素,帮助您更好地理解为什么 Go 中读写文件比 Perl 慢很多。

问题内容

我使用go是为了提高代码效率,但是当我使用go读写文件时,发现它的读写效率没有perl高。是我代码的问题还是其他原因?

构建输入文件:

# input file:
for i in $(seq 1 600000) do     echo server$((random%800+100)),$random,$random,$random >> sample.csv done
登录后复制

用perl读写文件:

time cat sample.csv | perl -ne 'chomp;print"$_"' > out.txt
登录后复制
real    0m0.249s
user    0m0.083s
sys 0m0.049s
登录后复制

使用 go 读写文件:

package main

import (
    "bufio"
    "fmt"
    "io"
    "os"
    "strings"
)

func main() {

    filepath := "./sample.csv"
    file, err := os.openfile(filepath, os.o_rdwr, 0666)
    if err != nil {
        fmt.println("open file error!", err)
        return
    }
    defer file.close()
    buf := bufio.newreader(file)
    for {
        line, err := buf.readstring('\n')
        line = strings.trimspace(line)
        fmt.println(line)
        if err != nil {
            if err == io.eof {
                fmt.println("file read ok!")
                break
            } else {
                fmt.println("read file error!", err)
                return
            }
        }
    }
}
登录后复制

然后我运行:

time go run read.go > out.txt
登录后复制
real    0m2.332s
user    0m0.326s
sys 0m2.038s
登录后复制

为什么 go 的读写速度比 perl 慢近 10 倍?

解决方法

您正在将苹果与橙子进行比较。

至少有两个方法错误:

  1. 您的 perl 咒语测量 cat 如何读取文件并通过 pipe(2) 发送其内容,而 perl 从那里读取数据,对其进行处理并将结果写入其标准输出。

  2. 你的围棋咒语

    • 测量 go 工具链的完整构建过程(包括编译、链接和写出可执行映像文件)然后运行 已编译程序的组成部分,以及
    • 测量对标准输出的无缓冲写入(fmt.print* 调用),而在 perl 代码中写入标准输出 - 引用 文档 - “如果输出到终端,通常可以进行行缓冲,否则进行块缓冲。”

让我们尝试比较一下苹果。

首先,这是一个类似的 go 实现:

package main

import (
    "bufio"
    "bytes"
    "fmt"
    "os"
)

func main() {
    in := bufio.newscanner(os.stdin)
    out := bufio.newwriter(os.stdout)

    for in.scan() {
        s := bytes.trimspace(in.bytes())

        if _, err := out.write(s); err != nil {
            fmt.fprint(os.stderr, "failed to write file:", err)
            os.exit(1)
        }
    }

    if err := out.flush(); err != nil {
        fmt.fprint(os.stderr, "failed to write file:", err)
        os.exit(1)
    }

    if err := in.err(); err != nil {
        fmt.fprint(os.stderr, "reading failed:", err)
        os.exit(1)
    }
}
登录后复制

让我们将其保存为 chomp.go 并进行测量:

  1. 构建代码:

    $ go build chomp.go

  2. 生成输入文件:

    $ for i in $(seq 1 600000);执行 echo server$((random%800+100)),$random,$random,$random;完成 >sample.csv

  3. 运行 perl 代码:

    $ time { perl -ne 'chomp; print "$_";' <sample.csv >out1.txt; }
    
    real    0m0.226s
    user    0m0.102s
    sys 0m0.048s
    登录后复制
  4. 再次运行它以确保它已从文件系统缓存中读取输入文件:

    $ time { perl -ne 'chomp; print "$_";' <sample.csv >out1.txt; }
    
    real   0m0.123s
    user   0m0.090s
    sys    0m0.033s
    登录后复制

    注意执行时间是如何减少的。

  5. 在缓存的输入上运行 go 代码:

    $ time { ./chomp <sample.csv >out2.txt; }
    
    real   0m0.063s
    user   0m0.032s
    sys    0m0.032s
    登录后复制
  6. 确保结果相同:

    $ cmp out1.txt out2.txt

  7. 如您所见,在我的带有 ssd 的 linux/amd64 系统上,结果大致相同。

    嗯,我还应该指出,为了获得合理的结果,您需要运行每个命令,例如 1000 次,并对每个批次中的结果进行平均,然后比较这些数字,但我认为这足以证明什么您的方法存在的问题是。

    还有一件事需要考虑:这两个程序的运行时间绝大多数由文件系统 i/o 主导,因此,如果您认为 go 会更快,那么您的期望是没有根据的:这两个程序大部分时间sleep 在内核的系统调用 read(2)read(2)write(2)write(2)。在某些涉及 cpu 运算的情况下,go 程序可能比 perl 程序更快(特别是如果它是为利用多核系统而编写的),但您的示例根本不是这种情况。

    哦,只是为了明确未说明的事实:虽然 go 语言规范没有说明 aot,而 go run 是一种针对一次性一次性演出的 hack,go run 是一种针对一次性一次性演出的 hack,严肃的工作,也不执行任何严重复杂程度的代码。简而言之,go-that-you-are-using 并不是一种解释性语言,尽管 go run 的可用性可能使它看起来如此。事实上,它执行正常 go build

    严肃的工作,也不执行任何严重复杂程度的代码。简而言之,go-that-you-are-using 并不是一种解释性语言,尽管 go run 的可用性可能使它看起来如此。事实上,它执行正常 go build 会执行的操作,然后运行生成的可执行文件,然后将其丢弃。🎜

    您可能会想说 perl 也处理“源代码”,但 perl 解释器针对处理脚本和 go 的构建工具链进行了高度优化——同时与大多数其他编译语言相比速度快得惊人——未针对此进行优化。
    可能更明显的区别是,perl 解释器实际上解释您的(非常简单的)脚本,而 chompprint 是所谓的“内置函数”,很容易提供给由解释器执行脚本。与构建 go 程序相比,编译器解析源代码文件并将其转换为机器代码,链接器实际上读取 go 标准库的编译包的文件 - 所有这些都是 imported, - 从它们,组合所有这些机器代码并写出一个可执行图像文件(这很像 perl 二进制文件本身!);当然,这是一个非常消耗资源的过程,与实际的程序执行无关。

    以上是为什么 Go 中读写文件比 Perl 慢很多?的详细内容。更多信息请关注PHP中文网其他相关文章!

相关标签:
来源:stackoverflow.com
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板