GoFrame&#s grpool로 Go 동시 작업을 강화하세요-Golang-php.cn

GoFrame&#s grpool로 Go 동시 작업을 강화하세요

Susan Sarandon

풀어 주다： 2025-01-01 14:10:11

원래의

707명이 탐색했습니다.

Supercharge Your Go Concurrent Tasks with GoFrame

안녕하세요 고퍼스 여러분! ? 오늘은 고전적인 "고루틴이 너무 많다"는 골칫거리로부터 여러분을 구할 수 있는 방법인 GoFrame의 grpool에 대해 알아 보겠습니다. Go에서 동시성 높은 서비스를 다루어 본 적이 있다면 훈련 방법을 알고 계실 것입니다. 고루틴을 생성하고, 관리하고, 너무 많이 생성하지 않도록 기도하세요... 하지만 더 나은 방법이 있다면 어떨까요?

어쨌든 문제가 무엇입니까? ?

다음을 생각해 보세요. 업로드 처리, API에서 데이터 가져오기, WebSocket 연결 처리 등 여러 동시 작업을 처리해야 하는 서비스를 구축하고 있습니다. 첫 번째 본능은 다음과 같습니다.

for task := range tasks {
    go processTask(task)  // Look ma, concurrency!
}

로그인 후 복사

청순해 보이는데요? 하지만 프로덕션 환경에서는 수천 건의 요청이 발생하여 다음과 같은 상황이 발생할 수 있습니다.

너무 많은 고루틴으로 인한 메모리 팽창
지속적인 고루틴 생성/파괴로 인한 CPU 오버헤드
시스템 자원 고갈

여기서 grpool이 구출하러 옵니다! ?‍♂️

grpool 입력: 고루틴 풀 관리자 ?

grpool은 GoFrame 프레임워크의 일부이지만 멋진 부분이 있습니다. 독립적으로 사용할 수 있다는 것입니다! 이는 각 작업에 대해 새로운 작업자를 고용(생성)하는 대신 작업을 수행할 준비가 된 작업자 팀(고루틴)을 갖는 것과 같습니다.

30초 안에 시작하기

먼저 패키지를 챙기세요.

go get github.com/gogf/gf/v2

로그인 후 복사

가장 간단한 사용 방법은 다음과 같습니다.

import "github.com/gogf/gf/v2/os/grpool"

func main() {
    ctx := context.Background()

    // Create a pool with 10 workers
    pool := grpool.New(10)

    // Add a task - it's this simple!
    pool.Add(ctx, func(ctx context.Context) {
        fmt.Println("Task executed by a worker from the pool!")
    })
}

로그인 후 복사

실제 사례: 고속 이미지 프로세서 구축 ?

여러 업로드를 동시에 처리할 수 있는 실용적인 이미지 프로세서를 만들어 보겠습니다.

package main

import (
    "context"
    "fmt"
    "github.com/gogf/gf/v2/os/grpool"
    "sync"
)

func processImages() {
    // Create a pool with 5 workers
    pool := grpool.New(5)
    ctx := context.Background()
    var wg sync.WaitGroup

    // Simulate 20 image uploads
    images := make([]string, 20)
    for i := range images {
        wg.Add(1)
        imageURL := fmt.Sprintf("image_%d.jpg", i)

        pool.Add(ctx, func(ctx context.Context) {
            defer wg.Done()
            processImage(imageURL)
        })
    }

    wg.Wait()
}

func processImage(url string) {
    // Simulate image processing
    fmt.Printf("Processing %s\n", url)
    // Your actual image processing logic here
}

로그인 후 복사

당신이 얻을 수 있는 멋진 기능은 무엇입니까?

자동 작업자 관리: grpool이 모든 작업자 수명주기 관련 작업을 처리합니다
비차단 작업 추가: Add()가 즉시 반환되므로 처리량이 많은 시스템에 적합합니다
리소스 제어: 리소스 고갈을 방지하기 위해 풀 크기 제한 설정
쉬운 컨텍스트 통합: 취소 및 시간 초과에 대한 내장된 컨텍스트 지원

숫자를 보여주세요! ?

grpool과 원시 고루틴을 비교하는 몇 가지 벤치마크를 실행했습니다. 제가 찾은 내용은 다음과 같습니다.

func BenchmarkComparison(b *testing.B) {
    ctx := context.Background()

    b.Run("With grpool", func(b *testing.B) {
        pool := grpool.New(10)
        for i := 0; i < b.N; i++ {
            pool.Add(ctx, func(ctx context.Context) {
                time.Sleep(time.Millisecond)
            })
        }
    })

    b.Run("Without pool", func(b *testing.B) {
        for i := 0; i < b.N; i++ {
            go func() {
                time.Sleep(time.Millisecond)
            }()
        }
    })
}

로그인 후 복사

내 컴퓨터의 결과:

BenchmarkComparison/With_grpool-8     5804 202395 ns/op
BenchmarkComparison/Without_pool-8    3662 304738 ns/op

로그인 후 복사

약 33% 성능 향상입니다! ?

프로덕션 사용을 위한 전문가 팁 ?

적절한 규모의 풀:

// For CPU-bound tasks
pool := grpool.New(runtime.NumCPU())

// For I/O-bound tasks
pool := grpool.New(runtime.NumCPU() * 2)

로그인 후 복사

패닉 처리:

pool.Add(ctx, func(ctx context.Context) {
    defer func() {
        if err := recover(); err != nil {
            log.Printf("Task panicked: %v", err)
        }
    }()
    // Your task code here
})

로그인 후 복사

시간 초과에 대한 컨텍스트 사용:

ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
defer cancel()

pool.Add(ctx, func(ctx context.Context) {
    select {
    case <-ctx.Done():
        fmt.Println("Task cancelled!")
        return
    default:
        // Your task code here
    }
})

로그인 후 복사