84669 personnes étudient
152542 personnes étudient
20005 personnes étudient
5487 personnes étudient
7821 personnes étudient
359900 personnes étudient
3350 personnes étudient
180660 personnes étudient
48569 personnes étudient
18603 personnes étudient
40936 personnes étudient
1549 personnes étudient
1183 personnes étudient
32909 personnes étudient
用的phpcrawl框架,第1步是设置开始地址;第2步是设置要下载的内容类型:text/html;第3步是用正则表达式设置要扩展的url规则;第4步就是开始抓取,抓取符合第3步url规则的网址的内容。第5步是用正则表达式或dom解析工具解析自己需要的内容。
问题是:有些内容是ajax请求,请求地址是javascript写的,已经拼接好了。那么,这个地址应该怎么样才可以让这个爬虫去执行?放在第3步的扩展地址不行,因为是自己拼接的,源代码中没有这个地址,匹配不到。
人生最曼妙的风景,竟是内心的淡定与从容!
直接使用拼接后的地址,然后查看该AJAX是GET还是POST请求,设置好参数后再做一次curl请求,然后再解析数据。
直接使用拼接后的地址,然后查看该AJAX是GET还是POST请求,设置好参数后再做一次curl请求,然后再解析数据。