84669 人が学習中
152542 人が学習中
20005 人が学習中
5487 人が学習中
7821 人が学習中
359900 人が学習中
3350 人が学習中
180660 人が学習中
48569 人が学習中
18603 人が学習中
40936 人が学習中
1549 人が学習中
1183 人が学習中
32909 人が学習中
用的phpcrawl框架,第1步是设置开始地址;第2步是设置要下载的内容类型:text/html;第3步是用正则表达式设置要扩展的url规则;第4步就是开始抓取,抓取符合第3步url规则的网址的内容。第5步是用正则表达式或dom解析工具解析自己需要的内容。
问题是:有些内容是ajax请求,请求地址是javascript写的,已经拼接好了。那么,这个地址应该怎么样才可以让这个爬虫去执行?放在第3步的扩展地址不行,因为是自己拼接的,源代码中没有这个地址,匹配不到。
人生最曼妙的风景,竟是内心的淡定与从容!
直接使用拼接后的地址,然后查看该AJAX是GET还是POST请求,设置好参数后再做一次curl请求,然后再解析数据。
直接使用拼接后的地址,然后查看该AJAX是GET还是POST请求,设置好参数后再做一次curl请求,然后再解析数据。