Goroutine dan Saluran: Corak Konkurensi dalam Go

Concurrency membolehkan kami mengendalikan berbilang tugasan secara bebas antara satu sama lain. Goroutine ialah cara mudah untuk memproses berbilang tugas secara bebas. Dalam siaran ini, kami secara beransur-ansur meningkatkan pengendali http yang menerima fail dan meneroka pelbagai corak konkurensi dalam Go menggunakan saluran dan pakej penyegerakan.

Persediaan

Sebelum memasuki corak konkurensi, mari kita sediakan peringkat. Bayangkan kami mempunyai pengendali HTTP yang menerima berbilang fail melalui borang dan memproses fail dalam beberapa cara.

func processFile(file multipart.File) {
   // do something with the file
   fmt.Println("Processing file...")
   time.Sleep(100 * time.Millisecond) // Simulating file processing time
}
func UploadHandler(w http.ResponseWriter, r *http.Request) {
   // limit to 10mb 
   if err := r.ParseMultipartForm(10 << 20); err != nil {
       http.Error(w, "Unable to parse form", http.StatusBadRequest)
       return 
   }
   // iterate through all files and process them sequentially 
   for _, file := range r.MultipartForm.File["files"] {
       f, err := file.Open()
       if err != nil {
          http.Error(w, "Unable to read file", http.StatusInternalServerError)
          return
       }
       processFile(f)
       f.Close()
   }
}

Dalam contoh di atas, kami menerima fail daripada borang dan memprosesnya secara berurutan. Jika 10 fail dimuat naik, ia akan mengambil masa 1 saat untuk menyelesaikan proses dan menghantar respons kepada pelanggan.
Apabila mengendalikan banyak fail ini boleh menjadi halangan, namun dengan sokongan serentak Go kami boleh menyelesaikan isu ini dengan mudah.

Kumpulan Tunggu

Untuk menyelesaikannya, kami boleh memproses fail secara serentak. Untuk menghasilkan goroutine baharu kita boleh awalan panggilan fungsi dengan kata kunci go cth. pergi processFile(f). Walau bagaimanapun, kerana goroutine tidak menyekat pengendali mungkin kembali sebelum proses selesai, meninggalkan fail mungkin tidak diproses atau mengembalikan keadaan yang tidak betul. Untuk menunggu pemprosesan semua fail, kami boleh menggunakan penyegerakan.WaitGroup.
WaitGroup menunggu beberapa goroutine selesai, untuk setiap goroutine yang kami hasilkan, kami juga harus meningkatkan pembilang dalam WaitGroup ini boleh dilakukan dengan fungsi Tambah. Apabila goroutine selesai Selesai perlu dipanggil supaya kaunter berkurangan satu. Sebelum kembali dari fungsi Wait perlu dipanggil yang menyekat sehingga kaunter WaitGroup ialah 0.

func UploadHandler(w http.ResponseWriter, r *http.Request) {
   if err := r.ParseMultipartForm(10 << 20); err != nil {
       http.Error(w, "Unable to parse form", http.StatusBadRequest)
       return
   }

   // create WaitGroup 
   var wg sync.WaitGroup 
   for _, file := range r.MultipartForm.File["files"] {
       f, err := file.Open()
       if err != nil {
          http.Error(w, "Unable to read file", http.StatusInternalServerError)
          return
       }

       wg.Add(1) // Add goroutine to the WaitGroup by incrementing the WaitGroup counter, this should be called before starting a goroutine
       // Process file concurrently
       go func(file multipart.File) {
           defer wg.Done() // decrement the counter by calling Done, utilize defer to guarantee that Done is called. 
           defer file.Close()
           processFile(f)
       }(f)
   }

   // Wait for all goroutines to complete
   wg.Wait()
   fmt.Fprintln(w, "All files processed successfully!")
}

Sekarang untuk setiap fail yang dimuat naik, goroutine baharu dihasilkan ini boleh membebankan sistem. Satu penyelesaian adalah dengan mengehadkan bilangan goroutin yang bertelur.

Mengehadkan Keselarasan Dengan Semaphore

Semaphore hanyalah pembolehubah yang boleh kita gunakan untuk mengawal akses kepada sumber biasa melalui berbilang urutan atau dalam kes ini goroutine.

Dalam Go kita boleh menggunakan saluran penimbal untuk melaksanakan semaphore.

Saluran

Sebelum masuk ke dalam pelaksanaan, mari kita lihat apakah saluran dan perbezaan antara saluran penimbal dan tidak penimbal.

Saluran ialah saluran yang melaluinya kami boleh menghantar dan menerima data untuk berkomunikasi dengan selamat antara rutin pergi.
Saluran mesti dibuat dengan fungsi make.

func processFile(file multipart.File) {
   // do something with the file
   fmt.Println("Processing file...")
   time.Sleep(100 * time.Millisecond) // Simulating file processing time
}
func UploadHandler(w http.ResponseWriter, r *http.Request) {
   // limit to 10mb 
   if err := r.ParseMultipartForm(10 << 20); err != nil {
       http.Error(w, "Unable to parse form", http.StatusBadRequest)
       return 
   }
   // iterate through all files and process them sequentially 
   for _, file := range r.MultipartForm.File["files"] {
       f, err := file.Open()
       if err != nil {
          http.Error(w, "Unable to read file", http.StatusInternalServerError)
          return
       }
       processFile(f)
       f.Close()
   }
}

Saluran mempunyai operator khas <- yang digunakan untuk menghantar atau membaca daripada saluran.
Mempunyai titik operator pada saluran ch <- 1 menghantar data ke saluran, jika anak panah menghala jauh dari saluran <-ch nilai akan diterima. Operasi hantar dan terima disekat secara lalai ini bermakna setiap operasi akan menunggu sehingga pihak lain bersedia.


Animasi menggambarkan pengeluar menghantar nilai 1 melalui saluran yang tidak ditimbal dan pengguna membaca dari saluran tersebut.

Jika pengeluar boleh menghantar acara lebih cepat daripada yang boleh dikendalikan oleh pengguna, maka kami mempunyai pilihan untuk menggunakan saluran penimbal untuk mengatur baris berbilang mesej tanpa menyekat pengeluar sehingga penimbal penuh. Pada masa yang sama pengguna boleh mengendalikan mesej mengikut kadarnya sendiri.

func UploadHandler(w http.ResponseWriter, r *http.Request) {
   if err := r.ParseMultipartForm(10 << 20); err != nil {
       http.Error(w, "Unable to parse form", http.StatusBadRequest)
       return
   }

   // create WaitGroup 
   var wg sync.WaitGroup 
   for _, file := range r.MultipartForm.File["files"] {
       f, err := file.Open()
       if err != nil {
          http.Error(w, "Unable to read file", http.StatusInternalServerError)
          return
       }

       wg.Add(1) // Add goroutine to the WaitGroup by incrementing the WaitGroup counter, this should be called before starting a goroutine
       // Process file concurrently
       go func(file multipart.File) {
           defer wg.Done() // decrement the counter by calling Done, utilize defer to guarantee that Done is called. 
           defer file.Close()
           processFile(f)
       }(f)
   }

   // Wait for all goroutines to complete
   wg.Wait()
   fmt.Fprintln(w, "All files processed successfully!")
}

Dalam contoh ini pengeluar boleh menghantar sehingga dua item tanpa menyekat. Apabila kapasiti penimbal dicapai pengeluar akan menyekat sehingga pengguna mengendalikan sekurang-kurangnya satu mesej.

Berbalik kepada masalah awal kami ingin mengehadkan jumlah fail pemprosesan goroutine secara serentak. Untuk melakukan ini, kami boleh menggunakan saluran penimbal.

ch := make(chan int)

Dalam contoh ini kami menambah saluran penimbal dengan kapasiti 5, ini membolehkan kami memproses 5 fail serentak dan mengehadkan ketegangan pada sistem.

Tetapi bagaimana jika tidak semua fail adalah sama? Kami mungkin boleh meramalkan dengan pasti bahawa jenis fail atau saiz fail yang berbeza memerlukan lebih banyak sumber untuk diproses. Dalam kes ini kita boleh menggunakan semaphore berwajaran.

Semaphore berwajaran

Ringkasnya dengan semafor berwajaran kita boleh memperuntukkan lebih banyak sumber untuk satu tugasan. Go sudah menyediakan pelaksanaan untuk semaphore berwajaran dalam pakej penyegerakan lanjutan.

ch := make(chan int, 2)

Dalam versi ini kami mencipta semaphore berwajaran dengan 5 slot, jika hanya imej yang dimuat naik contohnya proses mengendalikan 5 imej secara serentak, namun jika PDF dimuat naik 2 slot diperoleh, yang akan mengurangkan jumlah fail yang boleh dikendalikan serentak.

Kesimpulan

Kami meneroka beberapa corak konkurensi dalam Go, menggunakan penyegerakan.WaitGroup dan semaphore untuk mengawal bilangan tugasan serentak. Walau bagaimanapun terdapat lebih banyak alat yang tersedia, kami boleh menggunakan saluran untuk mencipta kumpulan pekerja, menambah tamat masa atau menggunakan corak kipas masuk/keluar.
Selain itu, pengendalian ralat adalah aspek penting yang kebanyakannya ditinggalkan untuk kesederhanaan.
Satu cara untuk mengendalikan ralat akan digunakan saluran untuk mengagregat ralat dan mengendalikannya selepas semua goroutine selesai.

Go juga menyediakan errgroup.Group yang berkaitan dengan sync.WaitGroups tetapi menambah pengendalian tugas yang mengembalikan ralat.
Pakej boleh didapati dalam pakej penyegerakan lanjutan.

Atas ialah kandungan terperinci Goroutine dan Saluran: Corak Konkurensi dalam Go. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!