효율성 향상을 위해 Python 루프를 병렬화하려면 어떻게 해야 합니까?

효율성 향상을 위한 Python 루프 병렬화

Python에서 루프 병렬화는 CPU 바인딩 작업의 성능을 크게 향상시킬 수 있습니다. calc_stuff 함수를 사용하여 값을 계산하고 결과를 별도의 목록에 누적하는 제공된 루프를 병렬화하려면 두 가지 효과적인 접근 방식이 있습니다.

방법 1: 다중 처리

Due Python의 GIL(Global Interpreter Lock)에 대해 여러 스레드를 사용하면 CPU 바인딩 작업에 이점이 제공되지 않습니다. 대신 멀티프로세싱이 더 적합한 옵션입니다.

멀티프로세싱 모듈을 사용하면 아래와 같이 여러 작업자 프로세스가 포함된 프로세스 풀을 생성할 수 있습니다.

pool = multiprocessing.Pool(4)  # Create a pool with 4 worker processes
out1, out2, out3 = zip(*pool.map(calc_stuff, range(0, 10 * offset, offset)))

맵 기능은 각 항목을 전송합니다. 작업자 프로세스에 대한 범위 반복기에서 반환된 결과를 수집하고 이를 out1, out2 및 out3에 압축 해제합니다. 목록.

방법 2: Concurrent.futures Python 3.2

루프 병렬화를 위한 또 다른 편리한 옵션은 사용에 최적화된 인터페이스를 제공하는 Concurrent.futures 모듈을 사용하는 것입니다. 스레드 및 프로세스 풀:

with concurrent.futures.ProcessPoolExecutor() as pool:
    out1, out2, out3 = zip(*pool.map(calc_stuff, range(0, 10 * offset, offset)))

이 접근 방식은 내부적으로 프로세스 풀을 사용합니다. 다중 처리 방법과 유사하게 동작합니다.

두 방법 모두 서로 다른 입력에서 calc_stuff 함수의 병렬 실행을 허용하므로 CPU 집약적인 루프의 실행 시간이 더 빨라집니다.

위 내용은 효율성 향상을 위해 Python 루프를 병렬화하려면 어떻게 해야 합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!