python - 代理导致Scrapy无法访问网站?
大家讲道理
大家讲道理 2017-04-18 09:36:37
0
3
373
大家讲道理
大家讲道理

光阴似箭催人老,日月如移越少年。

Antworte allen(3)
大家讲道理

把Lanten关掉~

巴扎黑

答案源地址:CSDN博客:Scrapy使用问题整理

答案中最后提到了代理问题导致有些网站无法访问,解决方法是在settings.py中修改:
DOWNLOADER_MIDDLEWARES = {

'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,

}

经测试修改后程序能够运行

洪涛

应该是Lanten改变了系统的代理,导致你的爬虫也被迫使用这个代理ip去访问

Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage