python - Baidu 사진을 크롤링하고 차단하려면 스크래피 프레임워크를 사용하세요.

Question

요청 주소 URL은 Firefox를 통해 얻은 json의 주소입니다. 브라우저로 열 수 있지만, scrapy로 크롤링할 때 금지되어 있습니다.

https://image.baidu.com/searc...

Answer 1

settings.py 将 ROBOTSTXT_OBEY = False에서 사용해 보세요.

Answer 2

청취자를 추가하지 않고 사용해 보세요

Answer 3

벽이 여전히 남아 있다면 위층에 동의합니다. scrapy+selenium+phantomjs 방법을 사용할 수 있습니다.