简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
python - Comment confirmer rapidement le code d'état d'une page Web contenant plus de 200 millions d'URL?
世界只因有你
世界只因有你 2017-05-18 10:56:14
0
5
575

J'ai utilisé des requêtes pour écrire un multi-thread, mais cela semble un peu lent. Existe-t-il d'autres méthodes ?

世界只因有你
世界只因有你

répondre à tous(5)
PHPzhong
PHPzhong2017-05-18 10:58:14 5 plancher

Utilisez le support client curl de Tornado pour fermer la connexion après avoir lu l'en-tête de la requête. (Je ne l'ai pas encore essayé. Si le client HTTP qu'il fournit ne prend pas en charge la fermeture de la connexion à mi-chemin, vous pouvez utiliser TCP, puis utiliser http-parser pour l'analyser comme je l'ai fait.)

D'accord, en fait, vous pouvez simplement ajouter une extension à fetchtitle pour obtenir le code d'état... (n'oubliez pas d'installer pycurl)

Comme +0
Ajouter une réponse
巴扎黑
巴扎黑2017-05-18 10:58:14 4 plancher

Python est intrinsèquement lent. Si vous voulez être rapide, écrivez simplement la requête TCP, puis lisez la réponse. Après avoir lu le statut, fermez le socket.

Comme +0
Ajouter une réponse
左手右手慢动作
左手右手慢动作2017-05-18 10:58:14 3 plancher

Grâce aux requêtes, les requêtes sont encapsulées simultanément

https://github.com/kennethrei...

Comme +0
Ajouter une réponse
迷茫
迷茫2017-05-18 10:58:14 2 plancher

Dans ce cas, vous pouvez envisager d'utiliser gevent, tornado, scrapy-redis, asyncio !

Comme +0
Ajouter une réponse
大家讲道理
大家讲道理2017-05-18 10:58:14 1 plancher

Utiliser Head pour demander, cela peut-il être plus rapide ?

Comme +0
Ajouter une réponse
Sujets populaires
Plus>
Articles populaires
Tutoriels populaires
Plus>
Tutoriels associés
Recommandations populaires
Derniers cours
Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal
À propos de nous Clause de non-responsabilité Sitemap
Site Web PHP chinois：Formation PHP en ligne sur le bien-être public，Aidez les apprenants PHP à grandir rapidement！