84669 person learning
152542 person learning
20005 person learning
5487 person learning
7821 person learning
359900 person learning
3350 person learning
180660 person learning
48569 person learning
18603 person learning
40936 person learning
1549 person learning
1183 person learning
32909 person learning
现在正在学习爬虫,但是网易云音乐的很多操作都是经过了加密处理,比如现在我想抓取歌曲的评论,网易采用的post ajax的方式,而且post提交的数据都是要加密的,现在我想通过阅读js源代码来获取加密方式。
随便选取一首歌为例子,可以看到评论虽然是分页的,但是确是通过ajax来完成的,现在我想看一下执行这段ajax的js源代码,请问在Chrome应该怎么调试查看?
注释:我猜应该类似于查看某一个元素的监听事件?
认证0级讲师
这是我给你的问题点赞的ajax请求。就是在红框处查看发起ajax的js代码行数的。
但是正如 @小杰控 所说,代码是加密混淆过的。
2017-02-17补充回答
Chrome是支持看源代码的,基本上所有的浏览器都可以!
但问题是,既然网易云音乐已经加密处理,就是防爬虫的,想必js代码是混淆过的,目的就是给你的分析带来困难。
题主可以换换思路,如果从用后台请求的方式拿分页数据很困难的话,是否可以通过前台方式来拿结果:
用selenium模拟用户一个一个的分页请求
对每次分页结果返回的html页面进行解析,拿到其中的结果
或者另外一种方式:
自己实现一个http proxy,在proxy中拿到分页的结果并保留作后续分析;当然这里有一个大前提,就是网易云音乐是基于http的,而不是https,是https就不要这样搞了
这是我给你的问题点赞的ajax请求。就是在红框处查看发起ajax的js代码行数的。
但是正如 @小杰控 所说,代码是加密混淆过的。
2017-02-17补充回答
Chrome是支持看源代码的,基本上所有的浏览器都可以!
但问题是,既然网易云音乐已经加密处理,就是防爬虫的,想必js代码是混淆过的,目的就是给你的分析带来困难。
题主可以换换思路,如果从用后台请求的方式拿分页数据很困难的话,是否可以通过前台方式来拿结果:
用selenium模拟用户一个一个的分页请求
对每次分页结果返回的html页面进行解析,拿到其中的结果
或者另外一种方式:
用selenium模拟用户一个一个的分页请求
自己实现一个http proxy,在proxy中拿到分页的结果并保留作后续分析;当然这里有一个大前提,就是网易云音乐是基于http的,而不是https,是https就不要这样搞了