当尝试 `ReadAll(response.Body)` 时，goroutine 泄漏，其中 `response` 由 http `client.Do(...)` 返回-Golang-PHP中文网

问题内容

解决方法

首页

后端开发

Golang

当尝试 `ReadAll(response.Body)` 时，goroutine 泄漏，其中 `response` 由 http `client.Do(...)` 返回

PHPz

Feb 09, 2024 pm 11:06 PM

当尝试 `ReadAll(response.Body)` 时，goroutine 泄漏，其中 `response` 由 http `client.Do(...)` 返回

php小编百草在解决编程问题时，发现了一个常见的goroutine泄漏情况。当我们尝试使用`ReadAll(response.Body)`时，返回的`response`对象是由`http`包的`client.Do(...)`方法返回的。然而，这种操作会导致goroutine泄漏的问题。为了避免这种情况的发生，我们需要采取一些措施来正确处理http响应。

问题内容

该问题来自一个非常常见的场景，即在 http 方法调用后从响应正文中读取所有字节。

在 https://github.com/uber-go/goleak 的帮助下，我发现了一个有趣的 goroutine 泄漏。

为了演示该问题，请使用 go test 运行以下测试代码，这会导致 found 出现意外的 goroutine：

package main

import (
    "io"
    "net/http"
    "testing"

    "go.uber.org/goleak"
    "gotest.tools/v3/assert"
)

func testleak(t *testing.t) {
    defer goleak.verifynone(t)

    request, err := http.newrequest(http.methodget, "https://google.com", nil)
    assert.nilerror(t, err)

    client := http.client{}

    response, err := client.do(request)
    assert.nilerror(t, err)

    defer response.body.close()

    _, err = io.readall(response.body)

    assert.nilerror(t, err)
}

登录后复制

完整测试输出：

$ go test
--- FAIL: TestLeak (1.26s)
    main_test.go:28: found unexpected goroutines:
        [Goroutine 14 in state IO wait, with internal/poll.runtime_pollWait on top of the stack:
        goroutine 14 [IO wait]:
        internal/poll.runtime_pollWait(0x7f945c1e0398, 0x72)
                /home/wxh/.local/go/src/runtime/netpoll.go:305 +0x89
        internal/poll.(*pollDesc).wait(0xc000154280?, 0xc0000ca000?, 0x0)
                /home/wxh/.local/go/src/internal/poll/fd_poll_runtime.go:84 +0x32
        internal/poll.(*pollDesc).waitRead(...)
                /home/wxh/.local/go/src/internal/poll/fd_poll_runtime.go:89
        internal/poll.(*FD).Read(0xc000154280, {0xc0000ca000, 0x2000, 0x2000})
                /home/wxh/.local/go/src/internal/poll/fd_unix.go:167 +0x25a
        net.(*netFD).Read(0xc000154280, {0xc0000ca000?, 0xc00017edd8?, 0xc0004d5808?})
                /home/wxh/.local/go/src/net/fd_posix.go:55 +0x29
        net.(*conn).Read(0xc00009c000, {0xc0000ca000?, 0xc0000c68f0?, 0x2c?})
                /home/wxh/.local/go/src/net/net.go:183 +0x45
        crypto/tls.(*atLeastReader).Read(0xc0002d4138, {0xc0000ca000?, 0x0?, 0x29f6540f238f2947?})
                /home/wxh/.local/go/src/crypto/tls/conn.go:787 +0x3d
        bytes.(*Buffer).ReadFrom(0xc0000a0278, {0x7c3860, 0xc0002d4138})
                /home/wxh/.local/go/src/bytes/buffer.go:202 +0x98
        crypto/tls.(*Conn).readFromUntil(0xc0000a0000, {0x7c3b80?, 0xc00009c000}, 0xc0000a41c0?)
                /home/wxh/.local/go/src/crypto/tls/conn.go:809 +0xe5
        crypto/tls.(*Conn).readRecordOrCCS(0xc0000a0000, 0x0)
                /home/wxh/.local/go/src/crypto/tls/conn.go:616 +0x116
        crypto/tls.(*Conn).readRecord(...)
                /home/wxh/.local/go/src/crypto/tls/conn.go:582
        crypto/tls.(*Conn).Read(0xc0000a0000, {0xc0001cf000, 0x1000, 0x11?})
                /home/wxh/.local/go/src/crypto/tls/conn.go:1287 +0x16f
        bufio.(*Reader).Read(0xc0001af1a0, {0xc0001aad60, 0x9, 0xc0004d5d18?})
                /home/wxh/.local/go/src/bufio/bufio.go:237 +0x1bb
        io.ReadAtLeast({0x7c3760, 0xc0001af1a0}, {0xc0001aad60, 0x9, 0x9}, 0x9)
                /home/wxh/.local/go/src/io/io.go:332 +0x9a
        io.ReadFull(...)
                /home/wxh/.local/go/src/io/io.go:351
        net/http.http2readFrameHeader({0xc0001aad60?, 0x9?, 0xc0004d5df0?}, {0x7c3760?, 0xc0001af1a0?})
                /home/wxh/.local/go/src/net/http/h2_bundle.go:1565 +0x6e
        net/http.(*http2Framer).ReadFrame(0xc0001aad20)
                /home/wxh/.local/go/src/net/http/h2_bundle.go:1829 +0x95
        net/http.(*http2clientConnReadLoop).run(0xc0004d5f98)
                /home/wxh/.local/go/src/net/http/h2_bundle.go:8875 +0x130
        net/http.(*http2ClientConn).readLoop(0xc00009e180)
                /home/wxh/.local/go/src/net/http/h2_bundle.go:8771 +0x6f
        created by net/http.(*http2Transport).newClientConn
                /home/wxh/.local/go/src/net/http/h2_bundle.go:7478 +0xaaa
        
         Goroutine 37 in state IO wait, with internal/poll.runtime_pollWait on top of the stack:
        goroutine 37 [IO wait]:
        internal/poll.runtime_pollWait(0x7f945c1e02a8, 0x72)
                /home/wxh/.local/go/src/runtime/netpoll.go:305 +0x89
        internal/poll.(*pollDesc).wait(0xc0003ca000?, 0xc000202000?, 0x0)
                /home/wxh/.local/go/src/internal/poll/fd_poll_runtime.go:84 +0x32
        internal/poll.(*pollDesc).waitRead(...)
                /home/wxh/.local/go/src/internal/poll/fd_poll_runtime.go:89
        internal/poll.(*FD).Read(0xc0003ca000, {0xc000202000, 0x1300, 0x1300})
                /home/wxh/.local/go/src/internal/poll/fd_unix.go:167 +0x25a
        net.(*netFD).Read(0xc0003ca000, {0xc000202000?, 0xc0004e6798?, 0xc0004c0808?})
                /home/wxh/.local/go/src/net/fd_posix.go:55 +0x29
        net.(*conn).Read(0xc000014028, {0xc000202000?, 0xc000136630?, 0x2c?})
                /home/wxh/.local/go/src/net/net.go:183 +0x45
        crypto/tls.(*atLeastReader).Read(0xc000276288, {0xc000202000?, 0x0?, 0x150fbb8ccb566149?})
                /home/wxh/.local/go/src/crypto/tls/conn.go:787 +0x3d
        bytes.(*Buffer).ReadFrom(0xc0000a0978, {0x7c3860, 0xc000276288})
                /home/wxh/.local/go/src/bytes/buffer.go:202 +0x98
        crypto/tls.(*Conn).readFromUntil(0xc0000a0700, {0x7c3b80?, 0xc000014028}, 0xc0004cc2c0?)
                /home/wxh/.local/go/src/crypto/tls/conn.go:809 +0xe5
        crypto/tls.(*Conn).readRecordOrCCS(0xc0000a0700, 0x0)
                /home/wxh/.local/go/src/crypto/tls/conn.go:616 +0x116
        crypto/tls.(*Conn).readRecord(...)
                /home/wxh/.local/go/src/crypto/tls/conn.go:582
        crypto/tls.(*Conn).Read(0xc0000a0700, {0xc00023c000, 0x1000, 0x11?})
                /home/wxh/.local/go/src/crypto/tls/conn.go:1287 +0x16f
        bufio.(*Reader).Read(0xc00022a2a0, {0xc00020e2e0, 0x9, 0xc0004c0d18?})
                /home/wxh/.local/go/src/bufio/bufio.go:237 +0x1bb
        io.ReadAtLeast({0x7c3760, 0xc00022a2a0}, {0xc00020e2e0, 0x9, 0x9}, 0x9)
                /home/wxh/.local/go/src/io/io.go:332 +0x9a
        io.ReadFull(...)
                /home/wxh/.local/go/src/io/io.go:351
        net/http.http2readFrameHeader({0xc00020e2e0?, 0x9?, 0xc0004c0df0?}, {0x7c3760?, 0xc00022a2a0?})
                /home/wxh/.local/go/src/net/http/h2_bundle.go:1565 +0x6e
        net/http.(*http2Framer).ReadFrame(0xc00020e2a0)
                /home/wxh/.local/go/src/net/http/h2_bundle.go:1829 +0x95
        net/http.(*http2clientConnReadLoop).run(0xc0004c0f98)
                /home/wxh/.local/go/src/net/http/h2_bundle.go:8875 +0x130
        net/http.(*http2ClientConn).readLoop(0xc00019e300)
                /home/wxh/.local/go/src/net/http/h2_bundle.go:8771 +0x6f
        created by net/http.(*http2Transport).newClientConn
                /home/wxh/.local/go/src/net/http/h2_bundle.go:7478 +0xaaa
        ]
FAIL
exit status 1

登录后复制

有人知道如何解决这个问题吗？

谢谢！

解决方法

在 Go 中，http.Client 使用 Transport（http.RoundTripper 接口）。 http.Transport 是它的默认实现。默认的 http.Transfer 维护一个连接池，其中保存由于某种原因保持活动或空闲的连接。

基本上，您需要做的就是确保在调用goleak.Verify时池中没有连接*

这可以通过以下方式完成：

在执行任何请求之前禁用所有 http 客户端的 keep-alive：
client := http.Client{Transport: &http.Transport{DisableKeepAlive: true}}
在调用goleak.Verify之前关闭空闲连接*：
client.CloseIdleConnections() // 自 Go 1.12 起可用

以上是当尝试 `ReadAll(response.Body)` 时，goroutine 泄漏，其中 `response` 由 http `client.Do(...)` 返回的详细内容。更多信息请关注PHP中文网其他相关文章！

本站声明

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

热AI工具

热工具

热门话题

gmail邮箱登陆入口在哪里

7700

Java教程

1640

CakePHP 教程

1393

Laravel 教程

1287

PHP教程

1230

显示更多

Related knowledge

Debian OpenSSL有哪些漏洞 Apr 02, 2025 am 07:30 AM

OpenSSL，作为广泛应用于安全通信的开源库，提供了加密算法、密钥和证书管理等功能。然而，其历史版本中存在一些已知安全漏洞，其中一些危害极大。本文将重点介绍Debian系统中OpenSSL的常见漏洞及应对措施。DebianOpenSSL已知漏洞：OpenSSL曾出现过多个严重漏洞，例如：心脏出血漏洞(CVE-2014-0160):该漏洞影响OpenSSL1.0.1至1.0.1f以及1.0.2至1.0.2beta版本。攻击者可利用此漏洞未经授权读取服务器上的敏感信息，包括加密密钥等。

Go语言中用于浮点数运算的库有哪些？ Apr 02, 2025 pm 02:06 PM

Go语言中用于浮点数运算的库介绍在Go语言（也称为Golang）中，进行浮点数的加减乘除运算时，如何确保精度是�...

Go的爬虫Colly中Queue线程的问题是什么？ Apr 02, 2025 pm 02:09 PM

Go爬虫Colly中的Queue线程问题探讨在使用Go语言的Colly爬虫库时，开发者常常会遇到关于线程和请求队列的问题。�...

从前端转型后端开发，学习Java还是Golang更有前景？ Apr 02, 2025 am 09:12 AM

后端学习路径：从前端转型到后端的探索之旅作为一名从前端开发转型的后端初学者，你已经有了nodejs的基础，...

在 Go 语言中，为什么使用 Println 和 string() 函数打印字符串会出现不同的效果？ Apr 02, 2025 pm 02:03 PM

Go语言中字符串打印的区别：使用Println与string()函数的效果差异在Go...

Debian下PostgreSQL监控方法 Apr 02, 2025 am 07:27 AM

本文介绍在Debian系统下监控PostgreSQL数据库的多种方法和工具，助您全面掌握数据库性能监控。一、利用PostgreSQL内置监控视图PostgreSQL自身提供多个视图用于监控数据库活动：pg_stat_activity：实时展现数据库活动，包括连接、查询和事务等信息。pg_stat_replication：监控复制状态，尤其适用于流复制集群。pg_stat_database：提供数据库统计信息，例如数据库大小、事务提交/回滚次数等关键指标。二、借助日志分析工具pgBadg