现在需要抓取天猫详情页里面的月销量如https://detail.tmall.com/item...已分析得到是异步js返回的数据,接口如下https://mdskip.taobao.com/cor...
这个地址访问几次就需要登录,登录之后多访问几次就需要输入验证码用代理换IP也一样各位大神有啥好办法
欢迎选择我的课程,让我们一起见证您的进步~~
不登陆,直接换代理
切换代理不要保持会话
获取入口可以选择移动端入口,例如:入口
数据直接就在页面上,获取数据就很容易了,关键字"sellCount"。
"sellCount"
浏览器访问多少次都不会要求登录,用代码调浏览器插件访问htmlunit
用postman刷了50次也不会让我登录或者出现验证码,自己下个post试试,淘宝的反爬还是一般般。https://www.endclothing.com用的反爬才真的见鬼
有没有大神有过经验?
不登陆,直接换代理
切换代理不要保持会话
获取入口可以选择移动端入口,例如:入口
数据直接就在页面上,获取数据就很容易了,关键字
"sellCount"
。浏览器访问多少次都不会要求登录,用代码调浏览器插件访问htmlunit
用postman刷了50次也不会让我登录或者出现验证码,自己下个post试试,淘宝的反爬还是一般般。
https://www.endclothing.com用的反爬才真的见鬼
有没有大神有过经验?