84669 Lernen von Personen
152542 Lernen von Personen
20005 Lernen von Personen
5487 Lernen von Personen
7821 Lernen von Personen
359900 Lernen von Personen
3350 Lernen von Personen
180660 Lernen von Personen
48569 Lernen von Personen
18603 Lernen von Personen
40936 Lernen von Personen
1549 Lernen von Personen
1183 Lernen von Personen
32909 Lernen von Personen
Ich habe Anfragen verwendet, um einen Multithread zu schreiben, aber es fühlt sich etwas langsam an. Gibt es andere Methoden?
使用 Tornado 的 curl 客户端支持,读到请求头就关闭连接。(我还没试过。如果它提供的 HTTP 客户端不支持中途关闭连接的话,可以像我这样使用 TCP 然后用 http-parser 来解析。)
好吧,其实你可以直接给 fetchtitle 加个取状态码的扩展就可以了……(记得装 pycurl 哦)
python本来就慢,想速度快就直接写tcp请求然后读回复,读到状态后就关掉socket。
使用grequests,对requests进行了并发封装
https://github.com/kennethrei...
这种情况可以考虑使用gevent,tornado,scrapy-redis,asyncio!
用Head请求能快一点吧?
Head
使用 Tornado 的 curl 客户端支持,读到请求头就关闭连接。(我还没试过。如果它提供的 HTTP 客户端不支持中途关闭连接的话,可以像我这样使用 TCP 然后用 http-parser 来解析。)
好吧,其实你可以直接给 fetchtitle 加个取状态码的扩展就可以了……(记得装 pycurl 哦)
python本来就慢,想速度快就直接写tcp请求然后读回复,读到状态后就关掉socket。
使用grequests,对requests进行了并发封装
https://github.com/kennethrei...
这种情况可以考虑使用gevent,tornado,scrapy-redis,asyncio!
用
Head
请求能快一点吧?