golang - go 语言中mysql操作200万数据时应该如何写？

Question

在写一个将 discuzx 的 post 数据的 bbcode 转换成 html 的功能。
但是转换过程中，越到后面，越卡了。
本来想学学并发的，无奈不会啊。。。太菜了。
注释掉的是想要弄的。。。

PHP中文网 · Answer

由於我實在沒有耐心看完你的程式碼,而且很多東西都還要你自己去實踐, 這裡我簡單說一下我的方案, 希望能給你指明方向; 当然我也可能有理解错误,如果谁发现错误,请及时告知.

先說明幾個比較重要的概念和前提知識:

golang的協程對應的是實際作業系統執行緒, routine之間是獨立的
使用go關鍵字呼叫了一個函數後, 只是新建了另外一個新的執行緒
指定了cpu number之後go才真正使用多核心cpu, goroutine才真正被並行調度;
使用無緩衝channel就像是握手,必須同時有寫有讀才能繼續執行
channel使用完畢之後需要進行關閉, 否則會有記憶體外洩
channel可以試用range進行讀取

好了, 上面比較枯燥, 下面是我按照我的程式碼開始跟你講解清楚你需要注意的問題:

/* 正确创建合适数量的goroutine */

#建议创建routine的方式类似这样, 根据CPU数量创建合适的线程
runtime.GOMAXPROCS(runtime.NumCPU())
for i:=0; i < runtime.NumCPU()+2; i++ {
    go func(id int) {
        fmt.Printf("new routine id(%d)
", i)
    }(i)
}

#你的创建方式是错误的, 根据你的数据数量创建等数量的线程, 每个线程只处理一个数据
for _, v := range mypost {
    go ShowMsg(c, v)
}

好, 創建了合適的線程之後,我們開始分析這些線程的執行, 上面for循環的代碼所在的線程(routine)我們可以稱之為main routine, 因為它是第一個routine; go後面調用的匿名函數則並發執行了內部邏輯, main routine现在不知道哪个routine先执行完毕, 也就更不知道它们合适全部执行完毕, 作為一個合格的程式設計師,必須考慮清楚他們之間的先後順序;

import "sync"
/* 正确管理routine的生命周期, 防止死锁 */
var barrier sync.WaitGroup /* 使用WaitGroup管理自己启动的多个线程 */

for i:=0; i < runtime.NumCPU()+2; i++ {
    barrier.Add(1)      /* 总数加1 */
    go func(id int) {
        fmt.Printf("new routine id(%d)
", i)
        barrier.Done()  /* 总数减1 */
    }(i)
}

go func() {
    barrier.Wait() /* 等待上面的所有routine结束(总数变为0) */
    #由于Wait会卡死, 为了不影响main routine的执行, 这里将它单独放在一个routine中
}()

OK了, 現在routine全部在掌握之中, 下面就可以考慮如何讓它們替我工作了!而我們要做的就是利用channel傳遞數據進去, 讓routine通過routine接收數據並並發處理.

#假想的任务: 多线程执行1到100得加法!
var barrier sync.WaitGroup /* 使用WaitGroup管理自己启动的多个线程 */
cin  := make(chan int)
cout := make(chan int)
#因为cin无缓冲的(有缓冲也不可能容纳全部100个数据), 所以增加新的routine往其中写数据, 保证main routine不卡死, 可以调用起来后面的for循环, 消耗数据.
go func() {
    for i:=1; i <= 100; i++ {
        cin<-i
    }
    Close(cin)
}

for i:=0; i < runtime.NumCPU()+2; i++ {
    barrier.Add(1)      /* 总数加1 */
    go func() {
        sum := 0
        # for循环, 每个routine处理cin中读取的多个(不是全部100个)数据处理
        for x := range cin {
            sum += x
        }
        cout<-sum
        barrier.Done()  /* 总数减1 */
    }()
}

go func() {
    #由于Wait会卡死, 为了不影响main routine,这里将它单独放在一个routine中.
    barrier.Wait() /* 等待上面的所有routine结束(总数变为0) */
    Close(cout) #全部运算routine都结束了, 再也不会写cout, 关闭channel
}()

var totalSum int := 0
for s := cout { #main routine读取各个routine的结果,做最终的统计
    totalSum += s
}
fmt.Println(totalSum)