使用Python 並行Bash 子進程:綜合指南
有效地利用Python 執行緒和子進程模組可以幫助您同時執行多個bash 進程。然而,簡單地使用執行緒創建執行緒可能無法實現所需的並行性。
沒有執行緒的並發進程管理
並發執行 bash 進程的一個直接方法是避免使用執行緒共。使用subprocess.Popen 實用程序,您可以直接並行調用多個命令,如下所示:
<code class="python">from subprocess import Popen commands = [ 'date; ls -l; sleep 1; date', 'date; sleep 5; date', 'date; df -h; sleep 3; date', 'date; hostname; sleep 2; date', 'date; uname -a; date', ] # Execute commands concurrently processes = [Popen(cmd, shell=True) for cmd in commands]</code>
透過多處理控制並發
如果需要限制並發進程的數量,您可以使用multiprocessing.dummy.Pool,它提供了類似於multiprocessing.Pool 的基於線程的介面。以下程式碼說明了這種方法:
<code class="python">from functools import partial from multiprocessing.dummy import Pool from subprocess import call pool = Pool(2) # Limit to 2 concurrent processes for i, returncode in enumerate(pool.imap(partial(call, shell=True), commands)): if returncode != 0: print("%d command failed: %d" % (i, returncode))</code>
非阻塞子進程管理
或者,您可以限制並發子進程,而無需求助於執行緒或進程池。下面的程式碼示範了這個策略:
<code class="python">from subprocess import Popen from itertools import islice max_workers = 2 # Maximum number of concurrent processes processes = (Popen(cmd, shell=True) for cmd in commands) running_processes = list(islice(processes, max_workers)) # Start initial processes while running_processes: for i, process in enumerate(running_processes): if process.poll() is not None: # Process has completed running_processes[i] = next(processes, None) # Start new process if running_processes[i] is None: # No new processes del running_processes[i] break</code>
對於 Unix 系統,請考慮使用 os.waitpid(-1, 0) 來避免繁忙循環並等待任何子程序終止。
以上是如何在Python中有效管理與控制並行bash子程序的同時?的詳細內容。更多資訊請關注PHP中文網其他相關文章!