用 PHP 爬蟲做旅遊數據分析-PHP源码-PHP中文網

首頁

php教程

PHP源码

用 PHP 爬蟲做旅遊數據分析

大家讲道理

Nov 11, 2016 pm 03:15 PM

隨著物質的提高，旅遊漸漸成為人們的焦點，火熱的國慶剛剛過去，乘著這股餘熱，我想很多人都想知道，大家一般會去哪裡玩呢，於是我花了10分鐘寫了採集馬蜂窩遊記的小程序，當然速度能有這麼快，完全依賴PHP著名爬蟲框架phpspider。

國際慣例，我們先來看看代碼怎麼寫，算作拋磚引玉吧 ^_^

馬蜂窩不同於常規網站，因為並發量高並且某些數據需要實時，比如觀看人數，點讚人數，所以網站多處使用了Ajax，而Ajax對於一般採集者來說，是個比較大的問題。

觀察了一下馬蜂窩網站，最終確定了採集路線：

獲取熱門城市-> 獲取城市下的遊記列表-> 獲取遊記內容-> 提取遊記內容的遊記標題、城市、出發時間等，接下來我們用三個步驟來實現它。。。

用 PHP 爬蟲做旅遊數據分析

我們點選頁數的時候，發現他的資料是Ajax載入的，末頁是297，而且使用的是POST方法用 PHP 爬蟲做旅遊數據分析

提交的參數如下：用 PHP 爬蟲做旅遊數據分析

很明顯這個page就是頁數了，這裡就有個問題，phpspider框架是有URL 去重機制的，POST的話URL只有一個，但是query_string是不影響POST資料的，我們可以在後面加上?page=1|2|3…，所以我們程式碼可以這麼寫：用 PHP 爬蟲做旅遊數據分析

設定列表頁規則：

&#39;list_url_regexes&#39; => array(
    "http://www.mafengwo.cn/mdd/base/list/pagedata_citylist?page=d+",
)

登入後複製

在入口回調函數入口所有城市列表：

$spider->on_scan_page = function($page, $content, $phpspider) 
{
    // 上面Ajax分页的末页是297页
    for ($i = 0; $i  $url,
            &#39;method&#39; => &#39;post&#39;,
            &#39;fields&#39; => array(
                &#39;mddid&#39;=>21536,
                &#39;page&#39;=>$i,
            )
        );
        // 热点城市列表页URL入队列
        $phpspider->add_url($url, $options);
    }
};

登入後複製

2、獲取熱門城市下的遊記列表

點擊進入一個城市後，我們可以看到他下面的遊記列表

當然和上面一樣，也是Ajax加載的，我們可以打開chrome的開發者工具，點擊Network，然後隨意點擊一個分頁得到Ajax的URL：用 PHP 爬蟲做旅遊數據分析

和城市列表一樣，也是POST，參數如下：用 PHP 爬蟲做旅遊數據分析

很明顯page就是頁數了，當然我們直接用POST方式訪問Ajax地址：用 PHP 爬蟲做旅遊數據分析

http://www.mafengwo.cn/gonglve/ajax.php?act=get_t …

是直接報錯的，他需要來路，綜合以上，我們程式碼可以這麼來寫：

首先我們要在on_start 回呼函數裡面加上來路URL

$spider->on_start = function($phpspider)
{
    $phpspider->add_header(&#39;Referer&#39;,&#39;http://www.mafengwo.cn/mdd/citylist/21536.html&#39;);
};

登入後複製

和上面獲取城市列表一樣，設定列表匹配裡面加上來路URL

&#39;list_url_regexes&#39; => array(
    "http://www.mafengwo.cn/gonglve/ajax.php?act=get_travellist&mddid=d+", 
)

登入後複製

和上面獲取城市列表一樣，設定列表匹配規則：

preg_match(&#39;#<span class="count">共<span>(.*?)</span>页#&#39;, $data_page, $out);
for ($i = 0; $i < $out[1]; $i++) 
{
    $v = $page[&#39;request&#39;][&#39;fields&#39;][&#39;mddid&#39;];
    $url = "http://www.mafengwo.cn/gonglve/ajax.php?act=get_travellist&mddid={$v}&page={$i}";
    $options = array(
        &#39;url_type&#39; => $url,
        &#39;method&#39; => &#39;post&#39;,
        &#39;fields&#39; => array(
            &#39;mddid&#39;=>$v,
            &#39;pageid&#39;=>&#39;mdd_index&#39;,
            &#39;sort&#39;=>1,
            &#39;cost&#39;=>0,
            &#39;days&#39;=>0,
            &#39;month&#39;=>0,
            &#39;tagid&#39;=>0,
            &#39;page&#39;=>$i,
        )
    );
    // 游记列表页URL入队列
    $phpspider->add_url($url, $options);
}

登入後複製

然後在on_list_page 回調裡面判斷如果是第一頁就獲取總頁數，然後循環入隊列：

// 获取内容页
preg_match_all(&#39;#<a href="/i/(.*?).html" target="_blank">#&#39;, $html, $out);
if (!empty($out[1])) 
{
    foreach ($out[1] as $v) 
    {
        $url = "http://www.mafengwo.cn/i/{$v}.html";
        // 内容页URL入队列
        $phpspider->add_url($url);
    }
}

登入後複製

通過上面兩個步驟，我們就把所有熱門城市下的遊記列表都放入到了隊列，接下來我們進行第三步，從這些清單裡面取得內容頁URL，然後提取內容。

3、取得熱門城市下的遊記清單

在on_list_page 方法裡面會得到清單頁的內容，從這些內容裡面我們可以提取內容頁的URL

&#39;fields&#39; => array(
    // 标题
    array(
        &#39;name&#39; => "name",
        &#39;selector&#39; => "//h1[contains(@class,&#39;headtext&#39;)]",
        &#39;required&#39; => true,
    ),
    // 分类
    array(
        &#39;name&#39; => "city",
        &#39;selector&#39; => "//div[contains(@class,&#39;relation_mdd&#39;)]//a",
        &#39;required&#39; => true,
    ),
    // 出发时间
    array(
        &#39;name&#39; => "date",
        &#39;selector&#39; => "//li[contains(@class,&#39;time&#39;)]",
        &#39;required&#39; => true,
    ),
)

登入後複製

下來我們來設定field提取內容頁欄位

rrreee

下來我們來設定field提取內容頁欄位

rrreee

rrreee 用 PHP 爬蟲做旅遊數據分析下來我們來設定field提取內容頁欄設計一張資料表：