Python で並列 bash サブプロセスの同時実行性を効果的に管理および制御するにはどうすればよいですか?

Python による並列 Bash サブプロセス: 総合ガイド

Python のスレッド化モジュールとサブプロセス モジュールを効果的に利用すると、複数の bash プロセスを同時に実行するのに役立ちます。ただし、スレッドを使用してスレッドを作成するだけでは、望ましい並列処理が達成されない可能性があります。

スレッドを使用しない同時プロセス管理

bash プロセスを同時に実行する簡単な方法は、スレッドの使用を避けることです。全く。 subprocess.Popen ユーティリティを使用すると、次に示すように、複数のコマンドを並行して直接呼び出すことができます。

<code class="python">from subprocess import Popen

commands = [
    'date; ls -l; sleep 1; date',
    'date; sleep 5; date',
    'date; df -h; sleep 3; date',
    'date; hostname; sleep 2; date',
    'date; uname -a; date',
]
# Execute commands concurrently
processes = [Popen(cmd, shell=True) for cmd in commands]</code>

マルチプロセッシングによる同時実行性の制御

制限する必要がある場合同時プロセスの数を指定するには、multiprocessing.dummy.Pool を使用できます。これは、multiprocessing.Pool に似たスレッドベースのインターフェイスを提供します。次のコードは、このアプローチを示しています。

<code class="python">from functools import partial
from multiprocessing.dummy import Pool
from subprocess import call

pool = Pool(2) # Limit to 2 concurrent processes
for i, returncode in enumerate(pool.imap(partial(call, shell=True), commands)):
    if returncode != 0:
       print("%d command failed: %d" % (i, returncode))</code>

ノンブロッキング子プロセス管理

または、スレッドやプロセス プールに頼らずに、同時子プロセスを制限することもできます。以下のコードは、この戦略を示しています。

<code class="python">from subprocess import Popen
from itertools import islice

max_workers = 2  # Maximum number of concurrent processes
processes = (Popen(cmd, shell=True) for cmd in commands)
running_processes = list(islice(processes, max_workers))  # Start initial processes

while running_processes:
    for i, process in enumerate(running_processes):
        if process.poll() is not None:  # Process has completed
            running_processes[i] = next(processes, None)  # Start new process
            if running_processes[i] is None: # No new processes
                del running_processes[i]
                break</code>

Unix システムの場合は、ビジー ループを回避し、子プロセスが終了するのを待つために os.waitpid(-1, 0) の使用を検討してください。

以上がPython で並列 bash サブプロセスの同時実行性を効果的に管理および制御するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。