Go中如何有效率最大化並發HTTP請求，同時避免系統資源耗盡？

Go 中並發HTTP 請求的有效最大化

在您的程式碼中，您嘗試並發100 萬個HTTP 請求，但遇到了錯誤文件描述符限制。以下是如何在系統限制內用請求有效地「淹沒」您的筆記型電腦：

使用基於通道的並發修改代碼：

<br>package main <p>導入(</p><pre class="brush:php;toolbar:false">"flag"
"fmt"
"log"
"net/http"
"runtime"
"sync"
"time"

)

var (

reqs int
max  int

)

func init() {

)

flag.IntVar(&reqs, "reqs", 1000000, "Total requests")
flag.IntVar(&max, "concurrent", 200, "Maximum concurrent requests")

func init() {

)

func init() {

*http.Response
err error

)

func init() {

)

defer close(reqChan)
for i := 0; i < reqs; i++ {
    req, err := http.NewRequest("GET", "http://localhost/", nil)
    if err != nil {
        log.Println(err)
    }
    reqChan <- req
}

func init(）

}

類型回應結構{

t := &http.Transport{}
for i := 0; i < max; i++ {
    go worker(t, reqChan, respChan, wg)
}

}

func 調度程式(reqChan chan *http.Request) {

}

}

for req := range reqChan {
    resp, err := t.RoundTrip(req)
    r := Response{resp, err}
    respChan <- r
}
wg.Done()

}

}

}

}

}

var (
    conns int64
    size  int64
)
for conns < int64(reqs) {
    select {
    case r, ok := <-respChan:
        if ok {
            if r.err != nil {
                log.Println(r.err)
            } else {
                size += r.ContentLength
                if err := r.Body.Close(); err != nil {
                    log.Println(r.err)
                }
            }
            conns++
        }
    }
}
return conns, size

}

}

}

}

}

flag.Parse()
runtime.GOMAXPROCS(runtime.NumCPU())

reqChan := make(chan *http.Request, max)
respChan := make(chan Response)
wg := sync.WaitGroup{}
wg.Add(max)

start := time.Now()
go dispatcher(reqChan)
go workerPool(reqChan, respChan, &wg)
conns, size := consumer(respChan)
wg.Wait()
took := time.Since(start)
ns := took.Nanoseconds()
av := ns / conns
average, err := time.ParseDuration(fmt.Sprintf("%d", av) + "ns")
if err != nil {
    log.Println(err)
}
fmt.Printf("Connections:\t%d\nConcurrent:\t%d\nTotal size:\t%d bytes\nTotal time:\t%s\nAverage time:\t%s\n", conns, max, size, took, average)

func workerPool(reqChan chan
http.Request，respChan chan 回應，wg

sync.WaitGroup) {

http}

func worker(t
• http}func worker(t http}
• >http.Request, respChan chan Response, wg *同步.WaitGroup) {
}
• func Consumer(respChan chan Response) (int64, int64) {

func main() {

}

• 說明：
調度員：
• 建立請求通道並將HTTP請求發送到
工作池：
• 建立一個 goroutine 池，這些協程同時消費來自請求通道的請求並向回應通道發送回應。
消費者：

等待回應通道上的回應並處理它們，計算連接數和總數

修改的好處：基於通道的並發：透過使用通道傳遞來避免檔案描述符限制goroutine 之間的資料。 Worker池： 將 goroutine 數量限制為指定的最大並發數，防止資源耗盡。 同步： 使用sync.WaitGroup 確保所有 goroutine 在退出前完成，提供乾淨退出。 回應處理： 計算連接和回應的總大小，以提供有關資源使用情況的指標。 透過進行這些修改，您可以在系統資源的限制內使用盡可能多的 HTTP 請求有效地「淹沒」您的筆記型電腦.

以上是Go中如何有效率最大化並發HTTP請求，同時避免系統資源耗盡？的詳細內容。更多資訊請關注PHP中文網其他相關文章！