简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
Python - 2億++のURLを持つWebページのステータスコードを素早く確認するには?
世界只因有你
世界只因有你 2017-05-18 10:56:14
0
5
571

リクエストを使ってマルチスレッドを書いたのですが、少し遅い気がします。他に方法はありますか？

世界只因有你
世界只因有你

全員に返信(5)
PHPzhong
PHPzhong2017-05-18 10:58:14 5棟

Tornado の CURL クライアント サポートを使用して、リクエスト ヘッダーを読み取った後に接続を閉じます。 (私はまだ試していません。提供する HTTP クライアントが接続の途中で閉じることをサポートしていない場合は、TCP を使用し、http-parser を使用して私がやったように解析できます。)

実際には、fetchtitle に拡張機能を追加するだけでステータス コードを取得できます... (pycurl をインストールすることを忘れないでください)

いいねを押す +0
返信を追加
巴扎黑
巴扎黑2017-05-18 10:58:14 4棟

Python は本質的に遅いので、高速にしたい場合は、TCP リクエストを直接書いて、ステータスを読んだ後、ソケットを閉じてください。

いいねを押す +0
返信を追加
左手右手慢动作
左手右手慢动作2017-05-18 10:58:14 3棟

grequests を使用すると、リクエストは同時にカプセル化されます

https://github.com/kennethrei...

いいねを押す +0
返信を追加
迷茫
迷茫2017-05-18 10:58:14 2棟

この場合、gevent、tornado、scrapy-redis、asyncio の使用を検討できます。

いいねを押す +0
返信を追加
大家讲道理
大家讲道理2017-05-18 10:58:14 1棟

Headを使用してリクエストすると早くなりますか?

いいねを押す +0
返信を追加
人気のトピック
詳細>
人気の記事
人気のチュートリアル
詳細>
関連するチュートリアル
人気のおすすめ
最新のコース
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート
私たちについて 免責事項 Sitemap
PHP中国語ウェブサイト：福祉オンライン PHP トレーニング，PHP 学習者の迅速な成長を支援します！