Python의 다중 처리에서 여러 프로세스 간에 대규모 읽기 전용 배열을 어떻게 공유할 수 있습니까?

다중 처리의 공유 메모리 개체

Python의 다중 처리 라이브러리에서는 여러 프로세스 간에 대규모 읽기 전용 배열을 동시에 공유해야 하는 문제에 직면합니다.

Fork() 의미 체계 사용

운영 체제에서 쓰기 시 복사 fork() 의미 체계(예: Unix)를 사용하는 경우 읽기 전용 데이터 구조는 추가 메모리 소비 없이 모든 하위 프로세스에 액세스할 수 있습니다. 이는 fork()가 쓰기 중 복사 작업을 생성하므로 한 프로세스의 데이터 구조 변경 사항은 자체 메모리 공간에만 기록되고 다른 프로세스에서는 원래 데이터 구조가 그대로 유지되기 때문입니다.

공유 메모리에 배열 패킹

효율성을 높이려면 배열을 NumPy 또는 배열 구조로 변환하여 공유 메모리에 저장하세요. 그 주위에 multiprocessing.Array 래퍼를 생성하고 함수에 전달합니다.

쓰기 가능한 공유 객체

쓰기 가능한 공유 객체가 필요한 경우 동기화 또는 잠금 메커니즘을 사용하세요. 멀티프로세싱은 두 가지 방법을 제공합니다.

• 간단한 값, 배열 또는 ctype을 위한 공유 메모리
• 한 프로세스가 메모리를 저장하고 관리자가 다른 프로세스의 액세스를 관리하는 관리자 프록시

Manager 프록시 접근 방식은 임의의 Python 개체를 처리할 수 있지만 프로세스 간 통신과 관련된 개체 직렬화 및 역직렬화로 인해 속도가 느립니다.

대체 접근 방식

다중 처리 외에도 Python에는 다양한 병렬 처리 라이브러리가 있습니다. 다중 처리로 적절하게 처리할 수 없는 특정 요구 사항이 있는 경우 다음 옵션을 고려하십시오.

위 내용은 Python의 다중 처리에서 여러 프로세스 간에 대규모 읽기 전용 배열을 어떻게 공유할 수 있습니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!