隨著網路的發展,爬蟲技術在現代化的資料收集、資料分析和商業決策當中已經扮演了越來越重要的角色。學會如何利用爬蟲技術,將會極大的提高我們處理資料的效率和準確性。在這篇文章中,我們將使用PHP編寫一個爬蟲,用於抓取慕課網路上的課程資訊。
本文將使用的工具如下:
#1.準備工作
首先,我們需要在本地環境中安裝PHP 7.0版本,安裝過程略為。
Guzzle HTTP Client是常用的HTTP客戶端工具庫,我們可以使用Composer來安裝。在命令列中切換到一個空白目錄下,然後創建一個新的composer.json文件,添加如下內容:
{
"require": { "guzzlehttp/guzzle": "^6.3" }
}
然後在同級目錄下執行composer install,等待執行完成後,我們就成功安裝了Guzzle HTTP Client。
2.分析目標網站結構
在開始編寫程式碼之前,我們需要對目標網站的結構進行分析。我們選擇的是慕課網(www.imooc.com)的Python課程,我們需要抓取的資訊包括課程名稱、課程編號、課程難度、課程長度和課程連結。
開啟目標網站並進行一定的操作後(例如搜尋「Python」課程),我們可以查看到網站返回的回應內容。我們可以使用瀏覽器的開發工具來查看回應內容和網頁結構。
我們可以看到,在慕課網路上Python課程的清單是透過AJAX進行動態載入的。為了方便爬取數據,我們可以直接去找AJAX請求的URL和參數,然後建構自己的HTTP請求來取得數據。
透過查看目標網站的XHR請求,我們可以發現Python課程實際請求的URL是 http://www.imooc.com/course/AjaxCourseMore?&page=1。
請求參數中的page表示目前要存取的頁碼。我們可以透過HTTP GET方法向該URL發送請求,並根據返回結果進行解析。
3.寫爬蟲程式
在上一步我們已經取得了目標網站Python課程的清單URL,現在我們只需要寫PHP程式碼,使用Guzzle HTTP Client發送HTTP請求,然後解析返回結果即可。
首先,我們需要引入Guzzle HTTP Client函式庫。在PHP檔案的頂端加入以下程式碼:
require 'vendor/autoload.php';
然後建立一個Guzzle HTTP Client物件:
$client = new GuzzleHttpClient( );
接下來,我們可以使用該物件發送HTTP請求:
$response = $client->request('GET', 'http://www.imooc.com /course/AjaxCourseMore?&page=1');
上述程式碼中,我們使用了Guzzle HTTP Client物件的request()方法,指定請求的方式是GET,請求的URL是我們在上一步中取得到的URL。
最後,我們需要從HTTP回應中取得到我們需要的課程資訊。透過檢查回應內容,我們可以看到課程資訊包含在一個HTML標籤中,標籤的class屬性為course-card-container。
我們可以使用PHP的DOMDocument類別來遍歷HTML標籤,將符合條件的標籤解析出來。
最終的程式碼實作如下:
require 'vendor/autoload.php';
use GuzzleHttpClient;
$client = new Client([
'base_uri' => 'http://www.imooc.com'
]);
$response = $client->request('GET', '/course/AjaxCourseMore?&page=1');
#if ($ response->getStatusCode() == 200) {
$dom = new DOMDocument(); @$dom->loadHTML($response->getBody()); $xpath = new DOMXPath($dom); $items = $xpath->query("//div[@class='course-card-container']"); foreach ($items as $item) { $courseName = trim($xpath->query(".//h3[@class='course-card-name']/a", $item)->item(0)->textContent); $courseId = trim($xpath->query(".//div[@class='clearfix']/a[@class='course-card'], $item)->item(0)->getAttribute('href')); $courseDifficulty = trim($xpath->query(".//p[@class='course-card-desc']", $item)->item(0)->textContent); $courseDuration = trim($xpath->query(".//div[@class='course-card-info']/span[@class='course-card-time']", $item)->item(0)->textContent); $courseLink = trim($xpath->query(".//h3[@class='course-card-name']/a", $item)->item(0)->getAttribute('href')); // 将抓取到的数据存储到MySQL数据库中 // ... echo "课程名称:" . $courseName . "
";
echo "课程编号:" . $courseId . "
";
echo "课程难度:" . $courseDifficulty . "
";
echo "课程时长:" . $courseDuration . "
";
echo "课程链接:" . $courseLink . "
";
}
}
我們使用DOMDocument讀取HTML回應內容,在使用DOMXPath遍歷標籤。最終,我們將抓取到的資訊列印到螢幕上。
4.儲存資料
現在我們已經成功的抓取到了Python課程的信息,並將資訊列印到了螢幕上。但是,將資料列印到螢幕上並不實用,我們需要將資料儲存到資料庫中。
在MySQL資料庫中,我們建立了一個表格來儲存Python課程的資訊。表格結構如下:
##CREATE TABLEpython_courses (
id int(11) unsigned NOT NULL AUTO_INCREMENT,
course_name varchar(255) NOT NULL DEFAULT '',
course_id# varchar(255) NOT NULL DEFAULT '',
course_difficulty varchar(255) NOT NULL DEFAULT '',
course_duration varchar(255) NOT NULL DEFAULT ''
course_link varchar(255) NOT NULL DEFAULT '',
PRIMARY KEY (
id)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
'base_uri' => 'http://www.imooc.com'
if ($response->getStatusCode() == 200) {
$dom = new DOMDocument(); @$dom->loadHTML($response->getBody()); $xpath = new DOMXPath($dom); $items = $xpath->query("//div[@class='course-card-container']"); $dsn = 'mysql:host=localhost;dbname=test'; $username = 'root'; $password = ''; $pdo = new PDO($dsn, $username, $password, [PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION]); $stmt = $pdo->prepare("INSERT INTO `python_courses` (`course_name`, `course_id`, `course_difficulty`, `course_duration`, `course_link`) VALUES (:course_name, :course_id, :course_difficulty, :course_duration, :course_link)"); foreach ($items as $item) { $courseName = trim($xpath->query(".//h3[@class='course-card-name']/a", $item)->item(0)->textContent); $courseId = trim($xpath->query(".//div[@class='clearfix']/a[@class='course-card']", $item)->item(0)->getAttribute('href')); $courseDifficulty = trim($xpath->query(".//p[@class='course-card-desc']", $item)->item(0)->textContent); $courseDuration = trim($xpath->query(".//div[@class='course-card-info']/span[@class='course-card-time']", $item)->item(0)->textContent); $courseLink = trim($xpath->query(".//h3[@class='course-card-name']/a", $item)->item(0)->getAttribute('href')); $stmt->bindParam(':course_name', $courseName); $stmt->bindParam(':course_id', $courseId); $stmt->bindParam(':course_difficulty', $courseDifficulty); $stmt->bindParam(':course_duration', $courseDuration); $stmt->bindParam(':course_link', $courseLink); $stmt->execute(); }
}
现在,我们已经成功的构建了一个简单的PHP爬虫,用于抓取慕课网上的Python课程信息。经过这个例子的介绍,你应该可以使用PHP编写你自己的爬虫程序,并获取到你需要的数据了。
以上是PHP爬蟲實戰:抓取慕課網課程資訊的詳細內容。更多資訊請關注PHP中文網其他相關文章!