Python을 기반으로 다중 프로세스 공유 변수를 여는 올바른 방법

다음 글은 Python을 기반으로 다중 프로세스 공유 변수를 여는 올바른 방법을 공유할 것입니다. 이는 좋은 참고 가치가 있으며 모든 사람에게 도움이 되기를 바랍니다. 함께 살펴보겠습니다

여러 프로세스가 변수를 공유하고 결과를 얻습니다

엔지니어링 요구 사항으로 인해 프로그램을 실행하려면 여러 스레드를 사용해야 합니다. 그런데 파이썬의 멀티스레딩이 가짜라는 말을 들어서 멀티프로세스를 사용했습니다. 어쨌든 작업이 공유하는 매개변수는 더 적습니다.

정보를 찾아보니 Multiprocessing은 주로 Multi Process를 구현하는 방법이 있는데 하나는 Process이고 다른 하나는 Pool입니다.

p = Process(target=fun,args=(args))

그런 다음 p.start()를 사용하여 하위 프로세스를 시작하고 p.join() 메서드를 사용하여 상위 프로세스를 실행하기 전에 하위 프로세스의 실행을 완료합니다.

하지만 이건 매우 짜증나는 일이고, n개의 스레드를 열고 조인하려면 for 루프를 작성해야 합니다.

그래서 Pool 이용을 추천드립니다. 고정된 크기의 프로세스 풀을 오픈한 후 각 스레드가 apply_async() 함수를 실행하여 실행할 함수를 호출한 후 최종적으로 닫고 조인할 수 있습니다.

코드는 다음과 같습니다.

pathm=Manager().Queue(len(pathlist))
for d in pathlist:
 pathm.put(d)
p=Pool(cp.threads)
results=[]
for i in range(cp.threads):
 temp=p.apply_async(ProcessWorker,args=(i,pathm,cp))
 results.append(temp)
print 'Waiting for all subprocesses done...'
p.close()
p.join()
print 'All subprocesses finish Processing.'
results=[r.get() for r in results]

위 코드는 풀 멀티 프로세스를 사용하는 방법, 풀 내 프로세스 간 변수 pathm을 공유하는 방법, 프로세스 기능 실행 결과. ProcessWorker는 제한되지 않은 함수여야 합니다. 그렇지 않으면 함수를 피클할 수 없고 각 프로세스에 할당할 수 없다는 오류가 보고됩니다.

cPickle.PicklingError: Can&#39;t pickle <type &#39;instancemethod&#39;>: attribute lookup __builtin__.instancemethod failed

제한된 함수와 파이썬의 다중 프로세스 메커니즘

위에서 파생된 개념은 제한된 함수와 제한되지 않은 함수의 개념입니다.

정보를 검토한 후 다음과 같이 결론을 내렸습니다.

제한된 함수는 클래스에 패키징된 함수이며 클래스가 인스턴스화될 때만 사용할 수 있습니다. 우리는 종종 이러한 함수를 클래스 메소드라고 부릅니다. 예를 들어 self를 매개변수로 사용하는 클래스 메서드입니다.

제한되지 않은 함수는 클래스에 래핑되지 않은 함수이거나 클래스의 정적 메서드일 수 있습니다. 예를 들어, 클래스의 정적 메서드는 클래스에 정의되어 있더라도 클래스의 매개 변수 및 기타 메서드에 액세스할 수 없습니다.

Python의 다중 프로세스 메커니즘은 각 프로세스에서 호출할 메서드와 전달된 매개 변수(예: 위 예의 ProcessWorker)를 컴파일하고 패키징한 다음 실행을 위해 각 프로세스에 복사해야 합니다. 입력이 제한된 함수인 경우 해당 매개변수는 해당 입력이 속한 클래스(매개변수 및 메서드 포함)여야 하지만 이를 얻을 수 없으며 클래스 특성 및 메서드에는 함정이 있어 패키징하기 어려울 수 있습니다. 따라서 Python에서는 여러 프로세스에서 호출되는 함수가 클래스 메서드일 수 없도록 제한합니다.

여러 프로세스에서 호출되는 함수를 클래스 외부에 두거나 정적 함수로 변환해야 합니다. 그러나 정적 함수는 자신이 속한 클래스의 메서드(self.ProcessWorker 형식)로 호출할 수 없습니다. mc=MyClass(), mc.ProcessWorker 또는 MyClass()와 같이 외부에서 호출해야 합니다. 프로세스 워커.

관련 권장 사항:

Python 데코레이터 기반 클래스 장식 방법

Python 기반 배열 및 행렬에 대한 자세한 설명 Numpy_python

위 내용은 Python을 기반으로 다중 프로세스 공유 변수를 여는 올바른 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!