python - 使用scrapy框架爬百度圖片被牆

Question

#請求地址url是透過firefox查看得到的json的位址，用瀏覽器可以打開，但是用scrapy爬的時候就被ban了求解決方法。

https://image.baidu.com/searc...

Answer 1

在 settings.py 将 ROBOTSTXT_OBEY = False 試試。

Answer 2

不要加hearders試試

Answer 3

贊成樓上，如果還會被牆。可採用scrapy+selenium+phantomjs的方式。