如题描述因为一些需求想对一份url列表进行get请求扫描,看看这些页面是否存在平时用的requests模块的get和多进程来实现,感觉还是不够快.于是产生了如题描述的这种想法.顺便问下,为什么vps提供商会封我...好郁闷.
人生最曼妙的风景,竟是内心的淡定与从容!
heads=requests.head(url)
普段はrequestモジュールのgetやマルチプロセスの実装を使っているのですが、それでも速度が足りないと感じたので、タイトルに記載したアイデアを思いつきました。 さまざまな理由により、GET レスポンスボディを破棄した方が必ずしも高速になるとは限りません。
普段はrequestモジュールのgetやマルチプロセスの実装を使っているのですが、それでも速度が足りないと感じたので、タイトルに記載したアイデアを思いつきました。
HEAD が要件を満たしている場合は、HEAD を使用してください。
必ず
requests.Session追記: HTTP について注意深く学習することをお勧めします。そうすれば、問題が発生したときに、質問して待って、最終的に理解できない解決策を得る必要がなくなります。
requests.Session
heads=requests.head(url)
HEAD が要件を満たしている場合は、HEAD を使用してください。
必ず
を使用すると、同じサーバーへのアクセスが 2 倍以上になる可能性があります。requests.Session
追記: HTTP について注意深く学習することをお勧めします。そうすれば、問題が発生したときに、質問して待って、最終的に理解できない解決策を得る必要がなくなります。