python - multiprocessing中用进程池apply_async出现的莫名错误
PHP中文网
PHP中文网 2017-04-18 10:03:05
0
1
667

以下是我的代码片段

import multiprocessing
@fn_timer
def getEnergyTerm(size , elements , elementSize , elementType , elementLine , elementGroup , imageElement , Dis , background):
    pdb.set_trace()
    functionList = [alignCalc , whiteSpace , getBalanceGravityCenter , spread , dist , margin , textSize , textVar , minTextSize , textContrast , textOverlap , graphicTextOverlap , graphicBoundary ,  groupSizeVar , groupDistMean]
    pool = multiprocessing.Pool()

    result = []
    #whiteSpace(size , elements , elementSize , elementType , elementLine , elementGroup , imageElement , background)
    #pool.apply_async(whiteSpace , args = (size , elements , elementSize , elementType , elementLine , elementGroup , imageElement , background))
    for func in functionList:
        result.append(pool.apply_async(func , args = (size , elements , elementSize , elementType , elementLine , elementGroup , imageElement , background)))

    pool.close()
    pool.join()
    print result
    energy = {k:v for item in result for k , v in item.get().items()}
    return energy

这里的functionList中的function类似于下面这样子的:

def whiteSpace(size , elements , elementSize , elementType , elementLine , elementGroup , imageElement , background):
    #pdb.set_trace()
    sum = size[0] * size[1]
    for item in range(len(elements)):
        sum -= elementSize[item][0] * elementSize[item][1]

    sum = sum * 1.0 / (size[0] * size[1])

    E_white_space =  -1.0 * sigmod(sum , alpha)
    res = {}
    res['whiteSpace'] = E_white_space
    return res

我使用pdb调试的时候,会在apply_async处出现错误,错误信息如下:

Traceback (most recent call last):
  File "/usr/lib/python2.7/multiprocessing/process.py", line 258, in _bootstrap
    self.run()
  File "/usr/lib/python2.7/multiprocessing/process.py", line 114, in run
    self._target(*self._args, **self._kwargs)
  File "/usr/lib/python2.7/multiprocessing/pool.py", line 102, in worker
    task = get()
  File "/usr/lib/python2.7/multiprocessing/queues.py", line 376, in get
    return recv()
TypeError: __new__() takes exactly 4 arguments (2 given)

实在想不到错在哪了,因为我不是很熟悉multiprocessing这个包,本来想优化下程序的速度,参考了这篇文章的方法,但是出的错误不是很理解,求高手解答 , 谢谢

PHP中文网
PHP中文网

认证高级PHP讲师

모든 응답(1)
黄舟

이 문제는 해결한 것 같은데 어디에 문제가 있는지 아직도 모르겠습니다. 원래 pool.apply_async(func , args = (size , elements , elementSize , elementType , elementLine , elementGroup , imageElement))에 배경 매개변수가 있었는데, 이 매개변수를 삭제한 후 프로그램이 원활하게 실행되었고, background = Image.open('background.png')은 원래는 apply_async가 객체 유형 값을 전달할 수 없기 때문이라고 생각했지만 다음 프로그램으로 테스트한 후 내 추측이 거부되었습니다.

으아악

이 프로그램은 작동해서 문제는 해결됐는데 원리는 아직 이해가 안가는데 누가 힌트 좀 주셨으면 좋겠습니다

최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿