Rumah > pembangunan bahagian belakang > tutorial php > php爬虫拿到ajax请求地址应该放在哪里执行?

php爬虫拿到ajax请求地址应该放在哪里执行?

WBOY
Lepaskan: 2016-06-06 20:27:22
asal
1353 orang telah melayarinya

用的phpcrawl框架,
第1步是设置开始地址;
第2步是设置要下载的内容类型:text/html;
第3步是用正则表达式设置要扩展的url规则;
第4步就是开始抓取,抓取符合第3步url规则的网址的内容。
第5步是用正则表达式或dom解析工具解析自己需要的内容。

问题是:
有些内容是ajax请求,请求地址是javascript写的,已经拼接好了。那么,这个地址应该怎么样才可以让这个爬虫去执行?放在第3步的扩展地址不行,因为是自己拼接的,源代码中没有这个地址,匹配不到。

回复内容:

用的phpcrawl框架,
第1步是设置开始地址;
第2步是设置要下载的内容类型:text/html;
第3步是用正则表达式设置要扩展的url规则;
第4步就是开始抓取,抓取符合第3步url规则的网址的内容。
第5步是用正则表达式或dom解析工具解析自己需要的内容。

问题是:
有些内容是ajax请求,请求地址是javascript写的,已经拼接好了。那么,这个地址应该怎么样才可以让这个爬虫去执行?放在第3步的扩展地址不行,因为是自己拼接的,源代码中没有这个地址,匹配不到。

直接使用拼接后的地址,然后查看该AJAX是GET还是POST请求,设置好参数后再做一次curl请求,然后再解析数据。

Label berkaitan:
php
sumber:php.cn
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Tutorial Popular
Lagi>
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan