Rumah > pembangunan bahagian belakang > tutorial php > 带分页的数据如何抓取?

带分页的数据如何抓取?

WBOY
Lepaskan: 2016-06-06 20:34:43
asal
1435 orang telah melayarinya

php在抓取数据的时候,如何抓取带有分页的数据呢??
补充:抓取的是类似www.xxxblog.com这样链接下的文章列表,文章列表都是带分页的!

回复内容:

php在抓取数据的时候,如何抓取带有分页的数据呢??
补充:抓取的是类似www.xxxblog.com这样链接下的文章列表,文章列表都是带分页的!

我用java抓取过带分页的数据,我是通过url来抓取的,分页是用for循环来改写url里的对应不同页的key值实现的

通过不停请求下一页的URL获得,也可以获取到总页数,然后分析拼接URL获得~

这个分一些情况。
1:异步处理的,可以通过请求,返回json数据,然后处理
2:非异步,分步处理。首先获取总的页码,然后手动拼接页码,循环请求每个页面,再对单个页面进行抓取。

先查看页面的源码情况,然后明确action和args。
一般的案例:
action: http://www.xxx.com/testAction.do
args: filtersParams={}&curIndex=1&pageSize=10

页面中还会有total(总数据),totolPage(总页数)

可以通过这些信息在后台代码进行判断所存在分页就for调用这个action?args即可

Label berkaitan:
php
sumber:php.cn
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Tutorial Popular
Lagi>
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan