python - 代理导致Scrapy无法访问网站？

Answer 1

把Lanten关掉~

Answer 2

答案源地址：CSDN博客：Scrapy使用问题整理

答案中最后提到了代理问题导致有些网站无法访问，解决方法是在settings.py中修改：
DOWNLOADER_MIDDLEWARES = {

'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,

}

经测试修改后程序能够运行

Answer 3

应该是Lanten改变了系统的代理，导致你的爬虫也被迫使用这个代理ip去访问