python爬虫 - python访问豆瓣突然遇到403forbidden,用过edge浏览器也无法访问？

Question

如题，使用requests访问，昨天写代码的时候两个多小时一直在访问豆瓣主页，没有什么问题，今天用相同的程序就变成了403forbidden，chrome、edge访问网址也变成了403forbidden..不知是什么原因..

Answer 1

学习爬虫抓豆瓣还是不错的，如果要应用，请用人家的开放平台吧http://developers.douban.com/

Answer 2

抓的太狠，被豆瓣封了啊~

Answer 3

人家费多大劲搞点 UGC 岂容你随便抓取？
可以用高匿代理 IP 抓，我们之前抓过淘宝的数据，也是抓几次以后就禁止了，后来用代理完美解决，对方完全禁止不了。

Answer 4

豆瓣是通过cookies限制抓取频率的, 分析下cookies, 是可以伪造的. 上个月两小时抓了107万个页面.