简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
Python - 2억개 이상의 URL이 있는 웹페이지의 상태 코드를 빠르게 확인하는 방법은 무엇입니까?
世界只因有你
世界只因有你 2017-05-18 10:56:14
0
5
569

리퀘스트를 이용하여 멀티스레드를 작성했는데 조금 느린 느낌이 드네요. 다른 방법은 없나요?

世界只因有你
世界只因有你

모든 응답(5)
PHPzhong
PHPzhong2017-05-18 10:58:14 5층

Tornado의 컬 클라이언트 지원을 사용하고 요청 헤더를 읽은 후 연결을 닫습니다. (아직 시도해보지 않았습니다. 제공되는 HTTP 클라이언트가 연결 도중에 연결 종료를 지원하지 않는 경우 저처럼 TCP를 사용한 다음 http-parser를 사용하여 구문 분석할 수 있습니다.)

사실, fetchtitle에 확장을 추가하면 상태 코드를 얻을 수 있습니다... (pycurl을 설치하는 것을 잊지 마세요)

좋다 +0
답글 추가
巴扎黑
巴扎黑2017-05-18 10:58:14 4층

Python은 본질적으로 느립니다. 속도를 높이려면 tcp 요청을 직접 작성한 다음 응답을 읽으세요. 상태를 읽은 후 소켓을 닫으세요.

좋다 +0
답글 추가
左手右手慢动作
左手右手慢动作2017-05-18 10:58:14 3층

요청을 사용하면 요청이 동시에 캡슐화됩니다

https://github.com/kennethrei...

좋다 +0
답글 추가
迷茫
迷茫2017-05-18 10:58:14 2층

이 경우 gevent, tornado, scrapy-redis, asyncio 사용을 고려해 볼 수 있습니다!

좋다 +0
답글 추가
大家讲道理
大家讲道理2017-05-18 10:58:14 1층

Head를 사용하여 요청하면 더 빨라질 수 있나요?

좋다 +0
답글 추가
인기 주제
더>
인기 기사
인기 튜토리얼
더>
관련 튜토리얼
인기 추천
최신 강좌
최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿
회사 소개 부인 성명 Sitemap
PHP 중국어 웹사이트：공공복지 온라인 PHP 교육，PHP 학습자의 빠른 성장을 도와주세요！