메모리 오버헤드 없이 다중 처리에서 대규모 읽기 전용 배열과 Python 개체를 공유하는 방법은 무엇입니까?

다중 처리의 공유 메모리 개체

질문:

다중 처리에서 대용량 읽기를 어떻게 공유할 수 있습니까? 메모리 오버헤드를 발생시키지 않고 여러 프로세스에 걸쳐 배열 또는 임의의 Python 객체만 사용하시겠습니까?

답변:

쓰기 시 복사 포크() 의미 체계를 사용하는 운영 체제에서는 변경되지 않은 데이터 구조는 추가 메모리 소비 없이 모든 하위 프로세스에서 계속 사용할 수 있습니다. 공유 객체가 수정되지 않은 상태로 유지되는지 확인하세요.

배열의 경우:

효율적인 접근 방식:

1. 패키지 배열을 효율적인 배열 구조(예: numpy 배열)로 바꿉니다.
2. 배열을 공유 메모리에 배치합니다.
3. 공유 배열을 multiprocessing.Array로 래핑합니다.
4. 공유 배열을 전달합니다. 함수에 배열합니다.

쓰기 가능한 공유 객체:

• 동기화 또는 잠금이 필요합니다.

• 멀티프로세싱은 두 가지를 제공합니다. 방법:

  • 공유 메모리: 단순 값, 배열 또는 ctypes(빠름)에 적합합니다.
  • 관리자 프록시: 프로세스 보류 관리자는 다른 사람의 액세스를 중재합니다(직렬화/역직렬화로 인해 속도가 느려짐).

임의 Python 개체:

• Manager 프록시 접근 방식을 사용하세요.
• 통신 오버헤드로 인해 공유 메모리보다 느립니다.

최적화 문제:

오버헤드 제공된 코드 조각에서 관찰되는 현상은 메모리 복사로 인해 발생하지 않습니다. 대신 함수 인수(arr 배열)의 직렬화/역직렬화로 인해 발생하며, 이는 Manager 프록시를 사용할 때 성능 저하를 초래합니다.

위 내용은 메모리 오버헤드 없이 다중 처리에서 대규모 읽기 전용 배열과 Python 개체를 공유하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!