python - 2億++的網址,怎麼快速確認網頁狀態碼?
世界只因有你
世界只因有你 2017-05-18 10:56:14
0
5
618

用requests寫了個多線程,感覺有點慢,還有其他方法麼?

世界只因有你
世界只因有你

全部回覆(5)
PHPzhong

使用 Tornado 的 curl 用戶端支持,讀到請求頭就關閉連線。 (我還沒試過。如果它提供的 HTTP 用戶端不支援中途關閉連線的話,可以像我這樣使用 TCP 然後用 http-parser 來解析。)

好吧,其實你可以直接給 fetchtitle 加個取狀態碼的擴充就可以了…(記得裝 pycurl 哦)

巴扎黑

python本來就慢,想速度快就直接寫tcp請求然後讀回复,讀到狀態後就關掉socket。

左手右手慢动作

使用grequests,對requests進行了並發封裝

https://github.com/kennethrei...

迷茫

這種情況可以考慮使用gevent,tornado,scrapy-redis,asyncio!

大家讲道理

Head請求能快一點吧?

熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板