python - 代理导致Scrapy无法访问网站?
大家讲道理
大家讲道理 2017-04-18 09:36:37
0
3
371
大家讲道理
大家讲道理

光阴似箭催人老,日月如移越少年。

répondre à tous(3)
大家讲道理

Éteignez Lanten~

巴扎黑

Adresse de la source de la réponse : blog CSDN : problèmes d'utilisation de Scrapy

À la fin de la réponse, il est mentionné que des problèmes de proxy entraînent l'inaccessibilité de certains sites Web. La solution est de le modifier dans settings.py :
DOWNLOADER_MIDDLEWARES = {

.
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,

}

Le programme peut s'exécuter après test et modification

洪涛

Il se pourrait que Lanten ait modifié le proxy du système, obligeant votre robot d'exploration à utiliser cette adresse IP proxy pour accéder

Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal