首頁 後端開發 Golang 一文詳解Go如何配置高效能sql.DB

一文詳解Go如何配置高效能sql.DB

Jan 27, 2022 pm 04:43 PM
golang

本文由golang教學專欄跟大家介紹Go是如何配置高效能sql.DB的,希望對需要的朋友有幫助! 

有很多教學是關於Go的sql.DB類型和如何使用它來執行SQL資料庫查詢的。但大多數內容都沒有講述SetMaxOpenConns(), SetMaxIdleConns()SetConnMaxLifetime()方法, 您可以使用它們來設定sql.DB 的行為並改變其性能。

在本文我將詳細解釋這些設定的作用,並說明它們所能產生的(正面和負面)影響。

開放與空閒連線
一個sql.DB物件就是一個資料庫連線池,它包含「正在使用」和「空閒的」連線。一個正在使用的連線指的是,你正用它來執行資料庫任務,例如執行SQL語句或行查詢。當任務完成連線就是空閒的。

當您建立sql.DB執行資料庫任務時,它將首先檢查連接池中是否有可用的空閒連線。如果有可用的連接,那麼Go將重複使用現有連接,並在執行任務期間將其標記為正在使用。如果池中沒有空閒連接,而您需要一個空閒連接,那麼Go將創建一個新的連接。

SetMaxOpenConns方法

預設情況下,在同一時間開啟連線的數量是沒有限制(包含使用中 空閒)。但你可以透過SetMaxOpenConns()方法實作自訂限制,如下所示:

// 初始化一个新的连接池
db, err := sql.Open("postgres", "postgres://user:pass@localhost/db")
if err != nil {
    log.Fatal(err)
}

// 设置当前最大开放连接数(包括空闲和正在使用的)为5。
// 如果设置为0代表连接数没有限制,默认是没有限制数量的。
db.SetMaxOpenConns(5)
登入後複製

在這個範例程式碼中,連接池現在有5個並發開啟的連線數。如果所有5個連接都已經被標記為正在使用,並且需要另一個新的連接,那麼應用程式將被迫等待,直到5個連接中的一個被釋放並變為空閒。

為了說明更改MaxOpenConns的影響,我執行了一個基準測試,將最大開啟連線數設為1、2、5、10和無限。基準測試在​​PostgreSQL資料庫上執行並行的INSERT語句,您可以在這裡找到程式碼。測試結果:

BenchmarkMaxOpenConns1-8                 500       3129633 ns/op  10/op -8                1000              1000      BenchmarkMaxOpenConns5-8                2000        859654 ns/op                2000        545394 ns/op         510 B/op       ? 1030 ns/op         479 B/op 9 allocs/op
PASS


對於這個基準測試,我們可以看到,允許開啟的連接越多,在資料庫上執行
INSERT

作業所花費的時間就越少(開啟的連線數為1時,執行速度3129633ns/op,而無限連線:531030ns/op—大約快了6倍)。這是因為允許開啟的連線越多,可以並發執行的資料庫查詢就越多。

SetMaxIdleConns方法

預設情況下,sql.DB允許連線池中保留最多2個空閒連線。你可以透過

SetMaxIdleConns()方法來改變它,如下所示:

//  初始化一个新的连接池
db, err := sql.Open("postgres", "postgres://user:pass@localhost/db")
if err != nil {
    log.Fatal(err)
}

// 设置最大空闲连接数为5。 将此值设置为小于或等于0将意味着不保留空闲连接。
db.SetMaxIdleConns(5)
登入後複製

從理論上講,允許池中有更多的空閒連接將提高效能,因為這樣就不太可能從頭開始建立新連線—因此有助於提升資料庫效能。 讓我們來看看相同的基準測試,最大空閒連線設定為none, 1,2,5和10:

BenchmarkMaxIdleConnsNone-8          300  /op        625 allocs/op

BenchmarkMaxIdleConns1-8            2000        568765 ns/op  enchmarkMaxIdleConns2-8            2000              2000        529359 ns/op         596 B/op 我2000        506207 ns/op         451 B/op          9 allocs/op

BenchmarkMaxIdleConns10-8    9 allocs/op
BenchmarkMaxIdleConns10-8    9 allocs/op

BenchmarkMaxIdleConns10-8    9 allocs/op
BenchmarkMaxIdleConns10-8    9 allocs/op
BenchmarkMaxIdleConns10-8    9 allocs/op
BenchmarkMaxIdleConns10-8    9 allocs/op
BenchmarkMaxIdleConns10-8    9 allocs/op
BenchmarkMaxIdleConns10-8    9 5        450 B/op          9 allocs/op

PASS#####

MaxIdleConns设置为none时,必须为每个INSERT从头创建一个新的连接,我们可以从基准测试中看到,平均运行时和内存使用量相对较高。

只允许保留和重用一个空闲连接对基准测试影响特别明显——它将平均运行时间减少了大约8倍,内存使用量减少了大约20倍。继续增加空闲连接池的大小会使性能变得更好,尽管改进并不明显。

那么,您应该维护一个大的空闲连接池吗?答案取决于应用程序。重要的是要意识到保持空闲连接是有代价的—它占用了可以用于应用程序和数据库的内存。

还有一种可能是,如果一个连接空闲时间太长,那么它可能会变得不可用。例如,MySQL的wait_timeout设置将自动关闭任何8小时(默认)内未使用的连接。

当发生这种情况时,sql.DB会优雅地处理它。坏连接将自动重试两次,然后放弃,此时Go将该连接从连接池中删除,并创建一个新的连接。因此,将MaxIdleConns设置得太大可能会导致连接变得不可用,与空闲连接池更小(使用更频繁的连接更少)相比,会占有更多的资源。所以,如果你很可能很快就会再次使用,你只需保持一个空闲的连接。

最后要指出的是,MaxIdleConns应该总是小于或等于MaxOpenConns.
。Go强制执行此操作,并在必要时自动减少MaxIdleConns

SetConnMaxLifetime方法
现在让我们看看SetConnMaxLifetime()方法,它设置连接可重用的最大时间长度。如果您的SQL数据库也实现了最大连接生命周期,或者—例如—您希望方便地在负载均衡器后交换数据库,那么这将非常有用。
你可以这样使用它:

// 初始化一个新的连接池
db, err := sql.Open("postgres", "postgres://user:pass@localhost/db")
if err != nil {
    log.Fatal(err)
}

// 将连接的最大生存期设置为1小时。将其设置为0意味着没有最大生存期,连接将永远可重用(这是默认行为)
db.SetConnMaxLifetime(time.Hour)
登入後複製

在这个例子中,所有的连接都将在创建后1小时“过期”,并且在过期后无法重用。但注意:

  • 这并不能保证连接将在池中存在整整一个小时;很有可能,由于某些原因,连接变得不可用,并在此之前自动关闭。
  • 一个连接在创建后一个多小时仍然可以被使用——它只是在这个时间之后不能被重用。
  • 这不是空闲超时。连接将在第一次创建后1小时过期——而不是在最后一次空闲后1小时。
  • 每隔一秒自动运行一次清理操作,从连接池中删除“过期”的连接。

从理论上讲,ConnMaxLifetime越短,连接过期的频率就越高——因此,需要从头创建连接的频率就越高。为了说明这一点,我运行了将ConnMaxLifetime设置为100ms、200ms、500ms、1000ms和无限(永远重用)的基准测试,默认设置为无限打开连接和2个空闲连接。

这些时间段显然比您在大多数应用程序中使用的时间要短得多,但它们有助于很好地说明行为。

BenchmarkConnMaxLifetime100-8 2000 637902 ns/op 2770 B/op 34 allocs/op
BenchmarkConnMaxLifetime200-8 2000 576053 ns/op 1612 B/op 21 allocs/op
BenchmarkConnMaxLifetime500-8 2000 558297 ns/op 913 B/op 14 allocs/op
BenchmarkConnMaxLifetime1000-8 2000 543601 ns/op 740 B/op 12 allocs/op
BenchmarkConnMaxLifetimeUnlimited-8 3000 532789 ns/op 412 B/op 9 allocs/op
PASS

在这些特定的基准测试中,我们可以看到,与无限生存期相比,在100ms生存期时内存使用量增加了3倍以上,而且每个INSERT的平均运行时也稍微长一些。

如果您在代码中设置了ConnMaxLifetime,那么一定要记住连接将过期(随后重新创建)的频率。例如,如果您总共有100个连接,而ConnMaxLifetime为1分钟,那么您的应用程序可能每秒钟杀死和重新创建1.67个连接(平均值)。您不希望这个频率太大,最终会阻碍性能,而不是提高性能。

连接数量超出
最后,如果不说明超过数据库连接数量的硬限制将会发生什么,那么本文就不完整了。 为了说明这一点,我将修改postgresql.conf文件,这样总共只允许5个连接(默认是100个)…

max_connections = 5
登入後複製

然后在无限连接的情况下重新运行基准测试……

BenchmarkMaxOpenConnsUnlimited-8 — FAIL: BenchmarkMaxOpenConnsUnlimited-8
main_test.go: 14: pq: sorry, too many clients already
main_test.go: 14: pq: sorry, too many clients already
main_test.go: 14: pq: sorry, too many clients already
FAIL

一旦达到5个连接的硬限制,数据库驱动程序(pq)立即返回一个太多客户端连接的错误消息,而无法完成INSERT。为了防止这个错误,我们需要将sql.DB中打开连接的最大总数(正在使用的+空闲的)设置为低于5。像这样:

// 初始化一个新的连接池
db, err := sql.Open("postgres", "postgres://user:pass@localhost/db")
if err != nil {
    log.Fatal(err)}
    // 将打开的连接数(正在使用的连接+空闲的连接)设置为最大总数3。
 db.SetMaxOpenConns (3)
登入後複製

现在,sql.DB在任何时候最多只能创建3个连接,基准测试运行时应该不会出现任何错误。但是这样做需要注意:当达到开放连接数限制,并且所有连接都在使用时,应用程序需要执行的任何新的数据库任务都将被迫等待,直到连接标记为空闲。例如,在web应用程序的上下文中,用户的HTTP请求看起来会“挂起”,甚至在等待数据库任务运行时可能会超时。

为了减轻这种情况,你应该始终在一个上下文中传递。在调用数据库时,启用上下文的方法(如ExecContext()),使用固定的、快速的超时上下文对象。


总结
1、根据经验,应该显式设置MaxOpenConns值。这应该小于数据库和基础设施对连接数量的硬性限制。
2、一般来说,更高的MaxOpenConnsMaxIdleConns值将带来更好的性能。但你应该注意到效果是递减的,连接池空闲连接太多(连接没有被重用,最终会变坏)实际上会导致性能下降。
3、为了降低上面第2点带来的风险,您可能需要设置一个相对较短的ConnMaxLifetime。但你也不希望它太短,导致连接被杀死或不必要地频繁重建。
4、MaxIdleConns应该总是小于或等于MaxOpenConns
对于中小型web应用程序,我通常使用以下设置作为起点,然后根据实际吞吐量水平的负载测试结果进行优化。

db.SetMaxOpenConns(25)db.SetMaxIdleConns(25)db.SetConnMaxLifetime(5*time.Minute)
登入後複製

到此这篇关于golang配制高性能sql.DB的使用的文章就介绍到这了                                                     

以上是一文詳解Go如何配置高效能sql.DB的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

如何使用 Golang 安全地讀取和寫入檔案? 如何使用 Golang 安全地讀取和寫入檔案? Jun 06, 2024 pm 05:14 PM

在Go中安全地讀取和寫入檔案至關重要。指南包括:檢查檔案權限使用defer關閉檔案驗證檔案路徑使用上下文逾時遵循這些準則可確保資料的安全性和應用程式的健全性。

如何為 Golang 資料庫連線配置連線池? 如何為 Golang 資料庫連線配置連線池? Jun 06, 2024 am 11:21 AM

如何為Go資料庫連線配置連線池?使用database/sql包中的DB類型建立資料庫連線;設定MaxOpenConns以控制最大並發連線數;設定MaxIdleConns以設定最大空閒連線數;設定ConnMaxLifetime以控制連線的最大生命週期。

如何在 Golang 中將 JSON 資料保存到資料庫中? 如何在 Golang 中將 JSON 資料保存到資料庫中? Jun 06, 2024 am 11:24 AM

可以透過使用gjson函式庫或json.Unmarshal函數將JSON資料儲存到MySQL資料庫中。 gjson函式庫提供了方便的方法來解析JSON字段,而json.Unmarshal函數需要一個目標類型指標來解組JSON資料。這兩種方法都需要準備SQL語句和執行插入操作來將資料持久化到資料庫中。

Golang框架與Go框架:內部架構與外部特性對比 Golang框架與Go框架:內部架構與外部特性對比 Jun 06, 2024 pm 12:37 PM

GoLang框架與Go框架的差異體現在內部架構與外部特性。 GoLang框架基於Go標準函式庫,擴充其功能,而Go框架由獨立函式庫組成,以實現特定目的。 GoLang框架更靈活,Go框架更容易上手。 GoLang框架在效能上稍有優勢,Go框架的可擴充性更高。案例:gin-gonic(Go框架)用於建立RESTAPI,而Echo(GoLang框架)用於建立Web應用程式。

從前端轉型後端開發,學習Java還是Golang更有前景? 從前端轉型後端開發,學習Java還是Golang更有前景? Apr 02, 2025 am 09:12 AM

後端學習路徑:從前端轉型到後端的探索之旅作為一名從前端開發轉型的後端初學者,你已經有了nodejs的基礎,...

如何找出 Golang 正規表示式符合的第一個子字串? 如何找出 Golang 正規表示式符合的第一個子字串? Jun 06, 2024 am 10:51 AM

FindStringSubmatch函數可找出正規表示式匹配的第一個子字串:此函數傳回包含匹配子字串的切片,第一個元素為整個匹配字串,後續元素為各個子字串。程式碼範例:regexp.FindStringSubmatch(text,pattern)傳回符合子字串的切片。實戰案例:可用於匹配電子郵件地址中的域名,例如:email:="user@example.com",pattern:=@([^\s]+)$獲取域名match[1]。

golang框架開發實戰教學:常見疑問解答 golang框架開發實戰教學:常見疑問解答 Jun 06, 2024 am 11:02 AM

Go框架開發常見問題:框架選擇:取決於應用需求和開發者偏好,如Gin(API)、Echo(可擴展)、Beego(ORM)、Iris(效能)。安裝和使用:使用gomod指令安裝,導入框架並使用。資料庫互動:使用ORM庫,如gorm,建立資料庫連線和操作。身份驗證和授權:使用會話管理和身份驗證中間件,如gin-contrib/sessions。實戰案例:使用Gin框架建立一個簡單的部落格API,提供POST、GET等功能。

如何用 Golang 使用預先定義時區? 如何用 Golang 使用預先定義時區? Jun 06, 2024 pm 01:02 PM

Go語言中使用預先定義時區包含下列步驟:匯入"time"套件。透過LoadLocation函數載入特定時區。在建立Time物件、解析時間字串等操作中使用已載入的時區,進行日期和時間轉換。使用不同時區的日期進行比較,以說明預先定義時區功能的應用。

See all articles