背景: 目前在做网站的爬取工作,想通过url地址获取网页源码。 问题: 有的网站的“下一页”按钮,点击后,地址栏中的url并没有发生变化,但是却实现了翻页功能。请问如何能够获取到实际请求的url地址。
学习是最好的投资!
应该是ajax动态加载的(具体我也不清楚,没学过ajax),点击下一页后主要加载了两个文件,如下:
GetHotelRoomSet/isajax/List包含了一些酒店的信息,只需要把这些信息在http://hotel.elong.com/wuxi/star5.html上更新即可,不需要请求新的url。而另一个文件是一些最新的订酒店信息。
你要抓的酒店数据其实都在GetHotelRoomSet/isajax/List里面,它的url如下:
form data:
应该是ajax动态加载的(具体我也不清楚,没学过ajax),点击下一页后主要加载了两个文件,如下:
![](http://img.php.cn/upload/image/000/000/000/b5dd12ada2b2c397a0e3f15aea32b8c9-0.png)
GetHotelRoomSet/isajax/List包含了一些酒店的信息,只需要把这些信息在http://hotel.elong.com/wuxi/star5.html上更新即可,不需要请求新的url。而另一个文件是一些最新的订酒店信息。
你要抓的酒店数据其实都在GetHotelRoomSet/isajax/List里面,它的url如下:![](http://img.php.cn/upload/image/000/000/000/65be4eb1ac7138db8fe58d849298f160-1.png)
form data:
![](http://img.php.cn/upload/image/000/000/000/65be4eb1ac7138db8fe58d849298f160-2.png)