Python 다중 스레드 크롤링 파일, 시간 초과 및 재연결 설정 방법.

Question

Python을 사용하여 데이터를 크롤링할 때는 단일 프로세스에서 멀티 스레드 크롤링을 활성화해야 합니다. 결국 IO 집약적 조건으로 인해 여러 프로세스가 없습니다.

---

코드는 다음과 같습니다

으아악

---

그러나 스레드의 요청이 값을 반환하지 않는 한 스레드는 계속 대기하고 쓰지 않으므로 메인 프로세스가 차단되지 않는 문제가 있습니다.
사진과 같이

---

예를 들어,requests.get에 시간 제한을 설정했는데 시간 제한을 설정한 후 스레드가 직접 종료된 것 같고 다음 대상을 계속 다운로드할 수 있는 경우 어떻게 해야 합니까? , 하지만 이 레코드는 다운로드되지 않았습니다. 이 레코드와 같습니다. 이 예외를 포착하고 다시 연결할 수 있습니까? 가장 중요한 것은 글쓰기인데, 나는 글을 잘 쓰지 못합니다. 너무 낯설다

Answer 1

으아아아