在Java中,线程池大小通常被设置成CPU核心数+1,《Java Concurrency In Practise》8.2节中有这么一段话:
对于计算密集型的任务,在拥有N个处理器的系统上,当线程池的大小为N+1时,通常能实现最优的效率。(即使当计算密集型的线程偶尔由于缺失故障或者其他原因而暂停时,这个额外的线程也能确保CPU的时钟周期不会被浪费。)
btw: 不太熟悉Java,网上引用,没经过实践。
并发编程网上也有一篇相关的文章,要点如下:
如果是CPU密集型应用,则线程池大小设置为N+1
如果是IO密集型应用,则线程池大小设置为2N+1
最佳线程数目 = ((线程等待时间+线程CPU时间)/线程CPU时间 )* CPU数目
线程等待时间所占比例越高,需要越多线程。线程CPU时间所占比例越高,需要越少线程。
疑问:对于n核和2n线程的处理器有什么需要注意的地方?
以上都是引用自Java,Python方面的资料相对较少,所以想讨论一下。
由于CPython中GIL存在,Python同一时刻只能运行一个线程,所以这里不讨论计算型任务,只看IO型任务,Python线程池大小应该怎么设置才算合理?(IO最好的办法是采用异步,主要想讨论下不支持异步的情形)
Bagaimana untuk menganggarkan bilangan proses yang perlu disediakan untuk srv?
Prinsip
Jumlah memori yang diduduki oleh setiap proses perlu kurang daripada jumlah memori
Intensif IO
Melibatkan beberapa overhed komunikasi rangkaian yang menyekat, bilangan proses boleh ditingkatkan, contohnya, dikonfigurasikan kepada 3 kali ganda bilangan teras CPU. Jika perniagaan melibatkan banyak penyekatan overhed rangkaian, anda boleh meningkatkan bilangan proses dengan sewajarnya, contohnya, 5 kali ganda bilangan teras CPU atau lebih tinggi.
Intensif CPU
Iaitu, tiada overhed IO rangkaian luaran, atau tiada overhed IO rangkaian yang menyekat Contohnya, jika IO tak segerak digunakan untuk membaca sumber rangkaian dan prosesnya tidak disekat oleh perniagaan kod, anda boleh Bilangan proses ditetapkan untuk sama dengan bilangan teras CPU.
Idea utama ialah sama ada kesesakan respons anda ialah io atau CPU.
Jika kesesakan tindak balas anda ialah CPU
Jika kesesakan respons anda berada dalam IO (seperti: rangkaian IO)