Python多进程机制实例详解
本文实例讲述了Python多进程机制。分享给大家供大家参考。具体如下：
在以前只是接触过PYTHON的多线程机制，今天搜了一下多进程，相关文章好像不是特别多。看了几篇，小试了一把。程序如下，主要内容就是通过PRODUCER读一个本地文件，一行一行的放到队列中去。然后会有相应的WORKER从队列中取出这些行。
import multiprocessing
import os
import sys
import Queue
import time
def writeQ(q,obj):
q.put(obj,True,None)
print "put size: ",q.qsize()
def readQ(q):
ret = q.get(True,1)
print "get size: ",q.qsize()
return ret
def producer(q):
time.sleep(5) #让进行休息几秒 方便ps命令看到相关内容
pid = os.getpid()
handle_file = '/home/dwapp/joe.wangh/test/multiprocess/datafile'
with open(handle_file,'r') as f: #with...as... 这个用法今天也是第一次看到的
for line in f:
print "producer <" ,pid , "> is doing: ",line
writeQ(q,line.strip())
q.close()
def worker(q):
time.sleep(5) #让进行休息几秒 方便ps命令看到相关内容
pid = os.getpid()
empty_count = 0
while True:
try:
task = readQ(q)
print "worker <" , pid , "> is doing: " ,task
'''
如果这里不休眠的话 一般情况下所有行都会被同一个子进程读取到 为了使实验效果更加清楚 在这里让每个进程读取完
一行内容时候休眠5s 这样就可以让其他的进程到队列中进行读取
'''
time.sleep(5)
except Queue.Empty:
empty_count += 1
if empty_count == 3:
print "queue is empty, quit"
q.close()
sys.exit(0)
def main():
concurrence = 3
q = multiprocessing.Queue(10)
funcs = [producer , worker]
for i in range(concurrence-1):
funcs.append(worker)
for item in funcs:
print str(item)
nfuncs = range( len(funcs) )
processes = []
for i in nfuncs:
p = multiprocessing.Process(target=funcs[i] , args=(q,))
processes.append(p)
print "concurrence worker is : ",concurrence," working start"
for i in nfuncs:
processes[i].start()
for i in nfuncs:
processes[i].join()
print "all DONE"
if __name__ == '__main__':
main()
实验结果如下：
dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>python 1.py <function producer at 0xb7b9141c> <function worker at 0xb7b91454> <function worker at 0xb7b91454> <function worker at 0xb7b91454> concurrence worker is : 3 working start producer < 28320 > is doing: line 1 put size: 1 producer < 28320 > is doing: line 2 put size: 2 producer < 28320 > is doing: line 3 put size: 3 producer < 28320 > is doing: line 4 put size: 3 producer < 28320 > is doing: line 5 get size: 3 put size: 4 worker < 28321 > is doing: line 1 get size: 3 worker < 28322 > is doing: line 2 get size: 2 worker < 28323 > is doing: line 3 get size: 1 worker < 28321 > is doing: line 4 get size: 0 worker < 28322 > is doing: line 5 queue is empty, quit queue is empty, quit queue is empty, quit all DONE
程序运行期间在另外一个窗口进行ps命令 可以观测到一些进程的信息
dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>ps -ef | grep python dwapp 13735 11830 0 Nov20 pts/12 00:00:05 python dwapp 28319 27481 8 14:04 pts/0 00:00:00 python 1.py dwapp 28320 28319 0 14:04 pts/0 00:00:00 python 1.py dwapp 28321 28319 0 14:04 pts/0 00:00:00 python 1.py dwapp 28322 28319 0 14:04 pts/0 00:00:00 python 1.py dwapp 28323 28319 0 14:04 pts/0 00:00:00 python 1.py dwapp 28325 27849 0 14:04 pts/13 00:00:00 grep python dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>ps -ef | grep python dwapp 13735 11830 0 Nov20 pts/12 00:00:05 python #此时28320进程 也就是PRODUCER进程已经结束 dwapp 28319 27481 1 14:04 pts/0 00:00:00 python 1.py dwapp 28321 28319 0 14:04 pts/0 00:00:00 python 1.py dwapp 28322 28319 0 14:04 pts/0 00:00:00 python 1.py dwapp 28323 28319 0 14:04 pts/0 00:00:00 python 1.py dwapp 28328 27849 0 14:04 pts/13 00:00:00 grep python dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>ps -ef | grep python dwapp 13735 11830 0 Nov20 pts/12 00:00:05 python dwapp 28319 27481 0 14:04 pts/0 00:00:00 python 1.py dwapp 28321 28319 0 14:04 pts/0 00:00:00 python 1.py dwapp 28322 28319 0 14:04 pts/0 00:00:00 python 1.py dwapp 28323 28319 0 14:04 pts/0 00:00:00 [python] <defunct> #这里应该是代表28323进程（WORKER）已经运行结束了 dwapp 28331 27849 0 14:04 pts/13 00:00:00 grep python dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>ps -ef | grep python dwapp 13735 11830 0 Nov20 pts/12 00:00:05 python dwapp 28337 27849 0 14:05 pts/13 00:00:00 grep python
希望本文所述对大家的Python程序设计有所帮助。
热AI工具
Undresser.AI Undress
人工智能驱动的应用程序，用于创建逼真的裸体照片
AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。
Undress AI Tool
免费脱衣服图片
Clothoff.io
AI脱衣机
AI Hentai Generator
免费生成ai无尽的。
热门文章
热工具
记事本++7.3.1
好用且免费的代码编辑器
SublimeText3汉化版
中文版，非常好用
禅工作室 13.0.1
功能强大的PHP集成开发环境
Dreamweaver CS6
视觉化网页开发工具
SublimeText3 Mac版
神级代码编辑软件(SublimeText3)
有什么手机APP可以将XML转换成PDF？
Apr 02, 2025 pm 08:54 PM
无法找到一款将 XML 直接转换为 PDF 的应用程序，因为它们是两种根本不同的格式。XML 用于存储数据，而 PDF 用于显示文档。要完成转换，可以使用编程语言和库，例如 Python 和 ReportLab，来解析 XML 数据并生成 PDF 文档。
xml格式怎么打开
Apr 02, 2025 pm 09:00 PM
用大多数文本编辑器即可打开XML文件；若需更直观的树状展示，可使用 XML 编辑器，如 Oxygen XML Editor 或 XMLSpy；在程序中处理 XML 数据则需使用编程语言（如 Python）与 XML 库（如 xml.etree.ElementTree）来解析。
手机XML转PDF，转换速度快吗？
Apr 02, 2025 pm 10:09 PM
手机XML转PDF的速度取决于以下因素：XML结构的复杂性手机硬件配置转换方法（库、算法）代码质量优化手段（选择高效库、优化算法、缓存数据、利用多线程）总体而言，没有绝对的答案，需要根据具体情况进行优化。
xml格式化工具推荐
Apr 02, 2025 pm 09:03 PM
XML格式化工具可以将代码按照规则排版，提高可读性和理解性。选择工具时，要注意自定义能力、对特殊情况的处理、性能和易用性。常用的工具类型包括在线工具、IDE插件和命令行工具。
有没有免费的手机XML转PDF工具？
Apr 02, 2025 pm 09:12 PM
没有简单、直接的免费手机端XML转PDF工具。需要的数据可视化过程涉及复杂的数据理解和渲染，市面上所谓的“免费”工具大多体验较差。推荐使用电脑端的工具或借助云服务，或自行开发App以获得更靠谱的转换效果。
如何在手机上高质量地将XML转换成PDF？
Apr 02, 2025 pm 09:48 PM
在手机上高质量地将XML转换成PDF需要：使用无服务器计算平台在云端解析XML并生成PDF。选择高效的XML解析器和PDF生成库。正确处理错误。充分利用云端计算能力，避免在手机上进行繁重任务。根据需求调整复杂度，包括处理复杂的XML结构、生成多页PDF和添加图片。打印日志信息以帮助调试。优化性能，选择高效的解析器和PDF库，并可能使用异步编程或预处理XML数据。确保良好的代码质量和可维护性。
手机上如何将XML转换成PDF？
Apr 02, 2025 pm 10:18 PM
直接在手机上将XML转换为PDF并不容易，但可以借助云端服务实现。推荐使用轻量级手机App上传XML文件并接收生成的PDF，配合云端API进行转换。云端API使用无服务器计算服务，选择合适的平台至关重要。处理XML解析和PDF生成时需要考虑复杂性、错误处理、安全性和优化策略。整个过程需要前端App与后端API协同工作，需要对多种技术有所了解。
XML如何修改注释内容
Apr 02, 2025 pm 06:15 PM
对于小型XML文件，可直接用文本编辑器替换注释内容；对于大型文件，建议借助XML解析器进行修改，确保效率和准确性。删除XML注释时需谨慎，保留注释通常有助于代码理解和维护。进阶技巧中提供了使用XML解析器修改注释的Python示例代码，但具体实现需根据使用的XML库进行调整。修改XML文件时注意编码问题，建议使用UTF-8编码并指定编码格式。
