业精于勤,荒于嬉;行成于思,毁于随。
可以换用scrapy框架来实现爬虫,可以实现抓取失败尝试3次,如果还失败可以自定义写进日志里面,后边自己再慢慢处理
requests.get有超时参数。
a = requests.get("http://www.baidu.com",timeout = 500)
可以换用scrapy框架来实现爬虫,可以实现抓取失败尝试3次,如果还失败可以自定义写进日志里面,后边自己再慢慢处理
requests.get有超时参数。