Python scrapy 프레임워크를 사용하여 루프에서 URL을 크롤링할 때마다 오류 없이 중단됩니다.

Question

30분 정도 실행될 때마다 로그에 오류가 없으면 CPU 사용량이 매우 높습니다.

setting.py에서 다운로드 시간 초과를 설정했는데 시간 초과의 원인이 아닙니다

ctrl-c가 정상적으로 종료되지 않습니다. Ctrl-z를 종료한 후 계속 실행해도 동일한 문제가 지속됩니다. 30분 후에 다시 정지됩니다.

Answer 1

먼저 TOP에서 메모리가 너무 높거나 CPU가 너무 높은지 확인한 다음 어떤 프로세스가 사용되고 있는지 알아보세요
모두 크롤러 프로세스인 경우 코드를 확인하여 어떤 부분이 있는지 확인해야 합니다. 아직 출시되지 않은 것

간단히 모든 측면에서 조사해보자

Answer 2

추적