python – Verwenden Sie das Scrapy-Framework, um Baidu-Bilder zu crawlen und blockiert zu werden

Question

Die URL der Anforderungsadresse ist die über Firefox erhaltene JSON-Adresse. Sie kann mit einem Browser geöffnet werden, wurde jedoch beim Crawlen mit Scrapy gesperrt.

https://image.baidu.com/searc...

Answer 1

在 settings.py 将 ROBOTSTXT_OBEY = False 试试。

Answer 2

不要加hearders试试

Answer 3

赞成楼上，如果还会被墙。可采用scrapy+selenium+phantomjs的方式。