用 PHP 爬虫做旅游数据分析-PHP源码-PHP中文网

首页

php教程

PHP源码

用 PHP 爬虫做旅游数据分析

大家讲道理

Nov 11, 2016 pm 03:15 PM

随着物质的提高，旅游渐渐成为人们的焦点，火热的国庆刚刚过去，乘着这股余热，我想很多人都想知道，大家一般会去哪里玩呢，于是我花了10分钟写了一个采集马蜂窝游记的小程序，当然速度能有这么快，完全依赖于PHP著名爬虫框架phpspider。

国际惯例，我们先来看看代码怎么写，算作抛砖引玉吧 ^_^

马蜂窝不同于常规网站，因为并发量高并且某些数据需要实时，比如观看人数，点赞人数，所以网站多处使用了Ajax，而Ajax对于普通采集者来说，是个比较大的问题。

观察了一下马蜂窝网站，最终确定了采集路线：

获取热门城市 -> 获取城市下的游记列表 -> 获取游记内容 -> 提取游记内容的游记标题、城市、出发时间等，接下来我们用三个步骤来实现它。。。

首先我们要采集下这些热门城市

当我们点击页数的时候，发现他的数据是Ajax加载的，末页是297，而且使用的是POST方法

提交的参数如下：

很明显这个page就是页数了，这里就有个问题，phpspider框架是有 URL 去重机制的，POST的话URL只有一个，但是query_string是不影响POST数据的，我们可以在后面加上 ?page=1|2|3…，所以我们代码可以这么写：

设置列表页规则：

&#39;list_url_regexes&#39; => array(
    "http://www.mafengwo.cn/mdd/base/list/pagedata_citylist?page=d+",
)

登录后复制

在入口回调函数入口所有城市列表：

$spider->on_scan_page = function($page, $content, $phpspider) 
{
    // 上面Ajax分页的末页是297页
    for ($i = 0; $i  $url,
            &#39;method&#39; => &#39;post&#39;,
            &#39;fields&#39; => array(
                &#39;mddid&#39;=>21536,
                &#39;page&#39;=>$i,
            )
        );
        // 热点城市列表页URL入队列
        $phpspider->add_url($url, $options);
    }
};

登录后复制

2、获取热门城市下的游记列表

点击进入一个城市后，我们可以看到他下面的游记列表

当然和上面一样，也是Ajax加载的，我们可以打开chrome的开发者工具，点击Network，然后随意点击一个分页得到Ajax的URL：

和城市列表一样，也是POST，参数如下：

很明显page就是页数了，当然我们直接通过POST方式访问Ajax地址：

http://www.mafengwo.cn/gonglve/ajax.php?act=get_t…

是直接报错的，他需要来路，综合以上，我们代码可以这么来写：

首先我们要在 on_start 回调函数里面加上来路URL

$spider->on_start = function($phpspider)
{
    $phpspider->add_header(&#39;Referer&#39;,&#39;http://www.mafengwo.cn/mdd/citylist/21536.html&#39;);
};

登录后复制

和上面获取城市列表一样，设置列表匹配规则：

&#39;list_url_regexes&#39; => array(
    "http://www.mafengwo.cn/gonglve/ajax.php?act=get_travellist&mddid=d+", 
)

登录后复制

然后在 on_list_page 回调里面判断如果是第一页就获取总页数，然后循环入队列：

preg_match(&#39;#<span class="count">共<span>(.*?)</span>页#&#39;, $data_page, $out);
for ($i = 0; $i < $out[1]; $i++) 
{
    $v = $page[&#39;request&#39;][&#39;fields&#39;][&#39;mddid&#39;];
    $url = "http://www.mafengwo.cn/gonglve/ajax.php?act=get_travellist&mddid={$v}&page={$i}";
    $options = array(
        &#39;url_type&#39; => $url,
        &#39;method&#39; => &#39;post&#39;,
        &#39;fields&#39; => array(
            &#39;mddid&#39;=>$v,
            &#39;pageid&#39;=>&#39;mdd_index&#39;,
            &#39;sort&#39;=>1,
            &#39;cost&#39;=>0,
            &#39;days&#39;=>0,
            &#39;month&#39;=>0,
            &#39;tagid&#39;=>0,
            &#39;page&#39;=>$i,
        )
    );
    // 游记列表页URL入队列
    $phpspider->add_url($url, $options);
}

登录后复制

通过上面两个步骤，我们就把所有热门城市下的游记列表都放入到了队列，接下来我们进行第三步，从这些列表里面获取内容页URL，然后提取内容。

3、获取热门城市下的游记列表

在 on_list_page 方法里面会得到列表页的内容，从这些内容里面我们可以提取内容页的URL

// 获取内容页
preg_match_all(&#39;#<a href="/i/(.*?).html" target="_blank">#&#39;, $html, $out);
if (!empty($out[1])) 
{
    foreach ($out[1] as $v) 
    {
        $url = "http://www.mafengwo.cn/i/{$v}.html";
        // 内容页URL入队列
        $phpspider->add_url($url);
    }
}

登录后复制

下来我们来配置field提取内容页字段

&#39;fields&#39; => array(
    // 标题
    array(
        &#39;name&#39; => "name",
        &#39;selector&#39; => "//h1[contains(@class,&#39;headtext&#39;)]",
        &#39;required&#39; => true,
    ),
    // 分类
    array(
        &#39;name&#39; => "city",
        &#39;selector&#39; => "//div[contains(@class,&#39;relation_mdd&#39;)]//a",
        &#39;required&#39; => true,
    ),
    // 出发时间
    array(
        &#39;name&#39; => "date",
        &#39;selector&#39; => "//li[contains(@class,&#39;time&#39;)]",
        &#39;required&#39; => true,
    ),
)

登录后复制

设计一张数据表：