python3.x - python发送get请求是否可以只获取状态码而不下载页面内容
黄舟
黄舟 2017-04-18 10:21:17
0
2
734

如题描述
因为一些需求想对一份url列表进行get请求扫描,看看这些页面是否存在
平时用的requests模块的get和多进程来实现,感觉还是不够快.于是产生了如题描述的这种想法.
顺便问下,为什么vps提供商会封我...好郁闷.

黄舟
黄舟

人生最曼妙的风景,竟是内心的淡定与从容!

全員に返信(2)
Ty80

heads=requests.head(url)

いいねを押す +0
小葫芦

普段はrequestモジュールのgetやマルチプロセスの実装を使っているのですが、それでも速度が足りないと感じたので、タイトルに記載したアイデアを思いつきました。

さまざまな理由により、GET レスポンスボディを破棄した方が必ずしも高速になるとは限りません。

HEAD が要件を満たしている場合は、HEAD を使用してください。

必ず

を使用すると、同じサーバーへのアクセスが 2 倍以上になる可能性があります。

requests.Session追記: HTTP について注意深く学習することをお勧めします。そうすれば、問題が発生したときに、質問して待って、最終的に理解できない解決策を得る必要がなくなります。

いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート