当 goroutine 数量增加时,Go 程序会变慢。这是因为 goroutine 的调度和切换会引入额外的开销,从而导致程序性能下降。虽然 goroutine 在提供并发性能方面表现出色,但是过多的 goroutine 会导致线程竞争和资源争用,进而影响程序的执行效率。为了避免这种情况发生,我们需要合理管理和控制 goroutine 的数量,确保程序能够高效地运行。在本文中,php小编柚子将为您介绍一些优化 goroutine 性能的方法和技巧,帮助您提升 Go 程序的执行效率。
我正在为我的并行性课程做一个小项目,我已经尝试使用缓冲通道、无缓冲通道、不使用指向切片的指针的通道等。此外,尝试尽可能优化它(不是当前状态)但我仍然得到相同的结果:增加 goroutine 数量(甚至增加 1)会减慢整个程序的速度。有人可以告诉我我做错了什么吗?在这种情况下甚至可以增强并行性吗?
这是部分代码:
func main() { rand.seed(time.now().unixmicro()) numagents := 2 fmt.println("please pick a number of goroutines: ") fmt.scanf("%d", &numagents) numfiles := 4 fmt.println("how many files do you want?") fmt.scanf("%d", &numfiles) start := time.now() numassist := numfiles channel := make(chan []file, numagents) files := make([]file, 0) for i := 0; i < numagents; i++ { if i == numagents-1 { go generatefiles(numassist, channel) } else { go generatefiles(numfiles/numagents, channel) numassist -= numfiles / numagents } } for i := 0; i < numagents; i++ { files = append(files, <-channel...) } elapsed := time.since(start) fmt.printf("function took %s\n", elapsed) }
func generatefiles(numfiles int, channel chan []file) { magicnumbersmap := getmap() files := make([]file, 0) for i := 0; i < numfiles; i++ { content := randelementfrommap(&magicnumbersmap) length := rand.intn(400) + 100 hexslice := gethex() for j := 0; j < length; j++ { content = content + hexslice[rand.intn(len(hexslice))] } hash := getsha1hash([]byte(content)) file := file{ content: content, hash: hash, } files = append(files, file) } channel <- files }
预期通过增加 goroutines,程序会运行得更快,但达到一定数量的 goroutines,此时通过增加 goroutines,我将获得相同的执行时间或稍慢一些。
编辑:使用的所有功能:
import ( "crypto/sha1" "encoding/base64" "fmt" "math/rand" "time" ) type File struct { content string hash string } func getMap() map[string]string { return map[string]string{ "D4C3B2A1": "Libcap file format", "EDABEEDB": "RedHat Package Manager (RPM) package", "4C5A4950": "lzip compressed file", } } func getHex() []string { return []string{ "0", "1", "2", "3", "4", "5", "6", "7", "8", "9", "A", "B", "C", "D", "E", "F", } } func randElementFromMap(m *map[string]string) string { x := rand.Intn(len(*m)) for k := range *m { if x == 0 { return k } x-- } return "Error" } func getSHA1Hash(content []byte) string { h := sha1.New() h.Write(content) return base64.URLEncoding.EncodeToString(h.Sum(nil)) }
简单来说 - 文件生成代码不够复杂,不足以证明并行执行的合理性。所有上下文切换和通过通道移动数据都会消耗并行处理的所有好处。
如果你在 generatefiles
函数的循环中添加类似 time.sleep(time.millisecond * 10)
的内容,就好像它在做更复杂的事情一样,你会看到你期望看到的东西 - 更多的 goroutine 工作得更快。但同样,只有到一定程度,并行处理的额外工作才会带来好处。
另请注意,程序最后一位的执行时间:
for i := 0; i < numAgents; i++ { files = append(files, <-channel...) }
直接取决于 goroutine 的数量。由于所有 goroutine 大约同时完成,因此该循环几乎不会与您的工作线程并行执行,并且运行所需的时间只是添加到总时间中。
接下来,当您多次追加到 files
切片时,它必须增长几次并将数据复制到新位置。您可以通过最初创建一个切片来填充所有结果元素(幸运的是,您确切知道需要多少个元素)来避免这种情况。
以上是当 goroutine 数量增加时,Go 程序会变慢的详细内容。更多信息请关注PHP中文网其他相关文章!