python - 代理导致Scrapy无法访问网站?
大家讲道理
大家讲道理 2017-04-18 09:36:37
0
3
374
大家讲道理
大家讲道理

光阴似箭催人老,日月如移越少年。

全部回覆(3)
大家讲道理

把Lanten關掉~

巴扎黑

答案來源位址:CSDN部落格:Scrapy使用問題整理

答案中最後提到了代理問題導致有些網站無法訪問,解決方法是在settings.py中修改:
DOWNLOADER_MIDDLEWARES = {

'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,

}

經測試修改後程式能夠運作

洪涛

應該是Lanten改變了系統的代理,導致你的爬蟲也被迫使用這個代理ip去訪問

熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板