使用多处理管理共享队列
在Python的多处理模块中,在使用multiprocessing.apply_async()时,在进程之间创建共享队列需要仔细考虑启动异步工作进程。 “队列对象只能通过继承在进程之间共享。”尝试将队列直接传递给工作人员时会发生错误。
要解决此问题,请使用 multiprocessing.Manager 来管理队列并使其可供工作进程访问。 multiprocessing.Manager 提供了创建管理器对象的方法,这些对象控制和序列化共享内存段中的各种类型的数据。
以下代码片段演示了如何使用 multiprocessing.Manager 在多个工作进程之间共享队列:
<code class="python">import multiprocessing def worker(name, que): que.put("%d is done" % name) if __name__ == '__main__': pool = multiprocessing.Pool(processes=3) m = multiprocessing.Manager() q = m.Queue() workers = pool.apply_async(worker, (33, q))</code>
在此示例中,multiprocessing.Manager() 创建一个管理器对象 (m),用于管理共享数据并提供可传递给工作进程的代理对象。通过调用 m.Queue(),我们创建了一个由管理器管理的队列,所有工作进程都可以访问该队列。然后,管理器序列化代理对象并将其传递给工作器,使其能够与共享队列安全地通信。
以上是如何解决多处理中的'队列对象只能通过继承在进程之间共享”错误?的详细内容。更多信息请关注PHP中文网其他相关文章!