私のラップトップは Go を使用して 100 万件の同時 HTTP リクエストを処理できますか?

あなたのラップトップは 100 万件の同時 HTTP リクエストを処理できますか?

1,000,000 件の HTTP リクエストを同時に REST API サービスに送信し、コンピュータの制限を押し上げることを想像してみてください。同時実行性を最大化します。このタスク用のツールは存在しますが、ゴルーチンを使用して Go でこのタスクを実行する方法を詳しく見てみましょう。

package main

import (
    "fmt"
    "net/http"
    "runtime"
    "time"
)

func main() {
    runtime.GOMAXPROCS(runtime.NumCPU()) // Use all available CPU cores
    transport := &http.Transport{}        // Create an HTTP transport

    for i := 0; i < 1000000; i++ {
        go func() { // Start a goroutine for each HTTP request
            req, _ := http.NewRequest("GET", "http://myapi.com", nil)
            req.Header.Set("User-Agent", "custom-agent")
            req.SetBasicAuth("xxx", "xxx")

            resp, err := transport.RoundTrip(req)
            if err != nil {
                panic("HTTP request failed.")
            }
            defer resp.Body.Close()

            if resp.StatusCode != 302 {
                panic("Unexpected response returned.")
            }

            location := resp.Header.Get("Location")
            if location == "" {
                panic("No location header returned.")
            }

            fmt.Println("Location Header Value:", location)
        }()
    }

    time.Sleep(60 * time.Second) // Sleep for 60 seconds
}

しかし、ちょっと待ってください。問題があります!

このスクリプトの実行ファイル記述子の制限によりエラーが発生します。システムは、あまりにも多くの同時接続を処理できません。

改善されたソリューション

これらの制限を克服するには、より洗練されたアプローチを使用する必要があります。

ディスパッチャーとワーカープールの使用

これ解決策には、リクエストをチャネルにプッシュするディスパッチャ ゴルーチンの作成が含まれます。ゴルーチンのワーカー プールはチャネルからリクエストを取得し、処理して、応答チャネルに送信します。その後、コンシューマのゴルーチンが応答を処理します。

// Dispatcher function
func dispatcher(reqChan chan *http.Request, reqs int) {
    defer close(reqChan)
    for i := 0; i < reqs; i++ {
        req, err := http.NewRequest("GET", "http://localhost/", nil)
        if err != nil {
            log.Println(err)
        }
        reqChan <- req
    }
}

// Worker function
func worker(t *http.Transport, reqChan chan *http.Request, respChan chan Response) {
    for req := range reqChan {
        resp, err := t.RoundTrip(req)
        r := Response{resp, err}
        respChan <- r
    }
}

// Consumer function
func consumer(respChan chan Response, reqs int) (int64, int64) {
    var (
        conns int64
        size  int64
    )
    for conns < int64(reqs) {
        select {
        case r, ok := <-respChan:
            if ok {
                if r.err != nil {
                    log.Println(r.err)
                } else {
                    size += r.ContentLength
                    if err := r.Body.Close(); err != nil {
                        log.Println(r.err)
                    }
                }
                conns++
            }
        }
    }
    return conns, size
}

結果

この改良されたスクリプトを実行すると、次のような印象的な結果が生成されます。

接続: 1000000

同時実行数: 200

合計サイズ: 15000000 バイト

合計時間: 38m20.3012317s

平均時間: 2.280131ms

パフォーマンスの最適化

ただし、同時リクエスト数と合計リクエスト数を調整すると、パフォーマンスを向上させるのに役立ちますシステムの制限とその機能のストレス テストを行います。これは極端なテストであり、システム リソースを急速に消費する可能性があることに注意してください。

以上が私のラップトップは Go を使用して 100 万件の同時 HTTP リクエストを処理できますか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。