通过模拟登录保存cookie,然后去后台页面不断抓取某网站上的订单数据。
现在有两个问题
该网站cookie会在10分钟后过期,过期后需要重新登录
该网站的订单数据禁止频繁查询
现在要完成这样的功能:
从模拟登录后开始,不断地自动抓取订单数据
当该cookie过期时自动发送消息到管理员微信,提醒管理员重新登录。
那么,如何在模拟登录时,设置保存的cookie过期时间?以及如何设置每隔固定的时间去执行一次抓取数据操作?
因为要对这些数据做处理,有没有办法在本地测试中即可完成这些操作?
通过模拟登录保存cookie,然后去后台页面不断抓取某网站上的订单数据。
现在有两个问题
该网站cookie会在10分钟后过期,过期后需要重新登录
该网站的订单数据禁止频繁查询
现在要完成这样的功能:
从模拟登录后开始,不断地自动抓取订单数据
当该cookie过期时自动发送消息到管理员微信,提醒管理员重新登录。
那么,如何在模拟登录时,设置保存的cookie过期时间?以及如何设置每隔固定的时间去执行一次抓取数据操作?
因为要对这些数据做处理,有没有办法在本地测试中即可完成这些操作?
隔固定时间去执行抓取,可以使用cli模式定时任务。
cookie设置过期时间我觉得没有必要,你可以在接口失效的前提下重新模拟登录。
1该网站的订单数据禁止频繁查询
curl 支持代理请求,他检测是否频繁请求是通过ip来检测的
2该网站cookie会在10分钟后过期,过期后需要重新登录(cookie里面存放了sessionid 主要是这个会话id会过期不是cookie)
按照你的这个情景cookie失效有2种:
----1 会话时长炒超过了服务器配置的会话时长(一般默认30分钟)
----2 用户退出,服务器主动销毁会话sessionid
既然你是要抓数据,那么账号应该是你的, 那么2的可能基本可以排除了,至于1 如果你用curl代理请求那么也就不存在1的问题,如果存在你使用定时请求来保持这个会话sessionid即可(另开一个程序每隔15分钟请求一次来保持会话)