PHP 實戰：高效網路爬蟲程式開發-php教程-PHP中文網

PHP 實戰：高效網路爬蟲程式開發

WBOY

發布： 2023-06-13 20:20:02

原創

1383 人瀏覽過

網路爬蟲程序是指一種自動取得並解析網路上資訊的程序，也是資料收集和資訊處理的重要工具之一。在網路時代，數據是一種極其寶貴的資產，能夠快速、準確地獲取目標網站上的資訊對於企業和個人來說都是非常重要的。而使用網路爬蟲程式則能夠更有效率地實現這一目標。

PHP 作為一種高效的程式語言，其優秀的網路程式設計特性和豐富的開源程式庫使其成為一個非常適合開發網路爬蟲程式的語言。本文將詳細介紹如何使用 PHP 開發高效能網路爬蟲程式。

一、爬蟲程序基本原理

網絡爬蟲程序的基本工作原理是通過網絡協議獲取網頁源碼，然後根據特定規則解析信息，最終將需要的數據存儲到數據庫或其他文件中。其大致流程如下：

1.向目標URL發送請求，獲取網頁源碼
2.解析源碼中的信息，如鏈接、文本、圖片等
3.將需要的信息存儲到資料庫或其他文件中
4.重複以上步驟，直到完成爬取任務

爬蟲程式的核心部分是解析器，其任務是解析獲取到的網頁源碼，提取出所需的信息。網頁原始碼解析通常使用正規表示式或框架提供的解析函數實作。正規表示式使用較為靈活，但複雜度高，易出錯；使用框架提供的解析函數則易於使用，但也有限制。

二、網路爬蟲程式開發實戰

本文以開發一個簡單的網路爬蟲程式為例，介紹其開發過程。

確定需求

在開發網路爬蟲程式前，首先需要先明確爬取的目標網站以及需要爬取的資訊。本文以爬取新浪新聞熱門推薦為例。需求為：爬取新浪新聞主頁上的熱門新聞推薦標題和鏈接，並將其儲存到資料庫中。

取得網頁原始碼

在 PHP 中可以使用 curl 函數庫取得網頁原始碼。下面的程式碼示範如何使用 curl 函數庫來取得新浪新聞首頁的網頁原始碼。

<?php

$url = 'http://news.sina.com.cn/';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$html = curl_exec($ch);
curl_close($ch);

echo $html;

?>

登入後複製

上述程式碼透過 curl 函數庫向新浪新聞主頁發送請求並取得其網頁原始碼。其中 curl_setopt() 函數設定了取得頁面後將傳回的結果以字串傳回、自動設定請求網頁的Referer。

解析資訊

取得網頁原始碼後，需要解析其中的資訊以擷取所需資料。在 PHP 中，可以使用正規表示式或框架提供的解析函數實作。下面的程式碼示範如何使用 PHP 內建 DOMDocument 類別來提取新聞標題和連結。

<?php

$url = 'http://news.sina.com.cn/';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$html = curl_exec($ch);
curl_close($ch);

// 使用 DOMDocument 类解析 HTML
$doc = new DOMDocument();
$doc->loadHTML($html);
$xpath = new DOMXPath($doc);
$news_list = $xpath->query('//div[@class="blk12"]/h2/a');

foreach ($news_list as $news) {
    $title = trim($news->nodeValue);
    $link = $news->getAttribute('href');
    echo $title . ' ' . $link . PHP_EOL;
}

?>

登入後複製

上述程式碼中，//div[@class="blk12"]/h2/a 是XPath 表達式，用來選擇class 屬性為"blk12" 的div 元素下的所有h2 元素下的a 元素。程式使用 foreach 迴圈遍歷取得到的所有 a 元素，操作 DOMNode 的 nodeValue 和 getAttribute() 方法取得其文字和 href 屬性值。

儲存資料

在取得到爬取的資訊後，需要將其儲存到資料庫中。本文使用 MySQL 資料庫為例。下面的程式碼示範如何將爬取的新聞標題和連結儲存到 MySQL 資料庫中。

<?php

// 连接数据库
$host = 'localhost';
$user = 'root';
$password = 'root';
$database = 'test';
$charset = 'utf8mb4';
$dsn = "mysql:host={$host};dbname={$database};charset={$charset}";
$pdo = new PDO($dsn, $user, $password);

// 获取新浪新闻主页热门推荐新闻标题和链接
$url = 'http://news.sina.com.cn/';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$html = curl_exec($ch);
curl_close($ch);

// 使用 DOMDocument 类解析 HTML
$doc = new DOMDocument();
$doc->loadHTML($html);
$xpath = new DOMXPath($doc);
$news_list = $xpath->query('//div[@class="blk12"]/h2/a');

// 插入数据库
$sql = "INSERT INTO news(title, link) VALUES(:title, :link)";
$stmt = $pdo->prepare($sql);

foreach ($news_list as $news) {
    $title = trim($news->nodeValue);
    $link = $news->getAttribute('href');
    $stmt->bindParam(':title', $title);
    $stmt->bindParam(':link', $link);
    $stmt->execute();
}

?>

登入後複製

在上述程式碼中，使用 PDO 連接到 MySQL 資料庫，並定義了一個名為 news 的資料表用於儲存新聞標題和連結。程式使用了 PDO 的 prepare() 函數和 bindParam() 函數，以避免 SQL 注入攻擊和資料類型錯誤。

完整程式碼

將上述程式碼組合在一起就可以得到一個簡單的網路爬蟲程序，其完整程式碼如下：

<?php

// 连接数据库
$host = 'localhost';
$user = 'root';
$password = 'root';
$database = 'test';
$charset = 'utf8mb4';
$dsn = "mysql:host={$host};dbname={$database};charset={$charset}";
$pdo = new PDO($dsn, $user, $password);

// 获取新浪新闻主页热门推荐新闻标题和链接
$url = 'http://news.sina.com.cn/';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$html = curl_exec($ch);
curl_close($ch);

// 使用 DOMDocument 类解析 HTML
$doc = new DOMDocument();
$doc->loadHTML($html);
$xpath = new DOMXPath($doc);
$news_list = $xpath->query('//div[@class="blk12"]/h2/a');

// 插入数据库
$sql = "INSERT INTO news(title, link) VALUES(:title, :link)";
$stmt = $pdo->prepare($sql);

foreach ($news_list as $news) {
    $title = trim($news->nodeValue);
    $link = $news->getAttribute('href');
    $stmt->bindParam(':title', $title);
    $stmt->bindParam(':link', $link);
    $stmt->execute();
}

?>

登入後複製

三、總結

網路爬蟲程式的開發需要用到多個技術，包括網路程式設計、資訊解析、資料儲存等。 PHP 作為一種高效的程式語言，在網路程式設計方面有著突出的優勢，加上其豐富的開源類別庫，使其成為一個非常適合開發網路爬蟲程式的語言。

在實際開發中，網路爬蟲程式需要注意法律合規性、資料隱私和反爬蟲機制等問題。開發者應在合法合規的前提下進行相關開發。同時，合理設定程式請求速度、隨機 HTTP 請求頭、使用代理 IP 等方式可以有效避免反爬蟲機制的阻擋。

開發網路爬蟲程式需要充分考慮其實際需求與可行性，選擇合適的技術和策略。本文提供的實例程式碼只是其中一個簡單的實現，如需更完善的爬蟲程序，還需要進一步深入學習相關知識。

以上是PHP 實戰：高效網路爬蟲程式開發的詳細內容。更多資訊請關注PHP中文網其他相關文章！