Python에서 병렬 bash 하위 프로세스의 동시성을 효과적으로 관리하고 제어하는 ​​방법은 무엇입니까?

Python을 사용한 병렬 Bash 하위 프로세스: 종합 가이드

Python 스레딩 및 하위 프로세스 모듈을 효과적으로 활용하면 여러 bash 프로세스를 동시에 실행하는 데 도움이 될 수 있습니다. 그러나 단순히 스레딩을 사용하여 스레드를 생성하는 것만으로는 원하는 병렬 처리를 달성하지 못할 수 있습니다.

스레드를 사용하지 않는 동시 프로세스 관리

bash 프로세스를 동시에 실행하는 간단한 접근 방식은 스레드 사용을 피하는 것입니다. 전부. subprocess.Popen 유틸리티를 사용하면 아래와 같이 여러 명령을 병렬로 직접 호출할 수 있습니다.

<code class="python">from subprocess import Popen

commands = [
    'date; ls -l; sleep 1; date',
    'date; sleep 5; date',
    'date; df -h; sleep 3; date',
    'date; hostname; sleep 2; date',
    'date; uname -a; date',
]
# Execute commands concurrently
processes = [Popen(cmd, shell=True) for cmd in commands]</code>

다중 처리로 동시성 제어

제한이 필요한 경우 동시 프로세스 수를 늘리려면 multiprocessing.Pool과 유사한 스레드 기반 인터페이스를 제공하는 multiprocessing.dummy.Pool을 사용할 수 있습니다. 다음 코드는 이 접근 방식을 보여줍니다.

<code class="python">from functools import partial
from multiprocessing.dummy import Pool
from subprocess import call

pool = Pool(2) # Limit to 2 concurrent processes
for i, returncode in enumerate(pool.imap(partial(call, shell=True), commands)):
    if returncode != 0:
       print("%d command failed: %d" % (i, returncode))</code>

비차단 하위 프로세스 관리

또는 스레드 또는 프로세스 풀을 사용하지 않고 동시 하위 프로세스를 제한할 수 있습니다. 아래 코드는 이 전략을 보여줍니다.

<code class="python">from subprocess import Popen
from itertools import islice

max_workers = 2  # Maximum number of concurrent processes
processes = (Popen(cmd, shell=True) for cmd in commands)
running_processes = list(islice(processes, max_workers))  # Start initial processes

while running_processes:
    for i, process in enumerate(running_processes):
        if process.poll() is not None:  # Process has completed
            running_processes[i] = next(processes, None)  # Start new process
            if running_processes[i] is None: # No new processes
                del running_processes[i]
                break</code>

Unix 시스템의 경우 바쁜 루프를 피하고 하위 프로세스가 종료될 때까지 기다리려면 os.waitpid(-1, 0) 사용을 고려하세요.

위 내용은 Python에서 병렬 bash 하위 프로세스의 동시성을 효과적으로 관리하고 제어하는 ​​방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!