用 PHP 實作異步多執行緒爬蟲的方法

在網路爬蟲的實作中，非同步多執行緒可以大幅提高爬取的效率。 PHP 作為主流的程式語言，也可以透過並發程式實現非同步多執行緒爬蟲，本文將介紹具體的實作方法。

一、非同步多執行緒爬蟲概述

非同步多執行緒爬蟲主要依賴兩個技術：非同步 IO 和多執行緒處理。在傳統的同步 IO 中，執行緒會一直等待 IO 操作完成後才能進行下一步操作。而在非同步 IO 中，執行緒可以在等待 IO 操作時進行其他操作，從而提高程式運行效率。多執行緒處理可以同時進行多個任務，加快任務處理速度。

二、非同步多執行緒實作原理

在 PHP 中實作非同步多執行緒主要依賴兩個擴充：pthread 和 cURL。 pthread 擴展是基於 POSIX 執行緒標準實現的多執行緒擴展，可以在 PHP 中開啟多執行緒功能。 cURL 則是 PHP 中使用的網路庫，可以透過 cURL 實現網路資料的傳輸。

實作非同步多執行緒爬蟲的主要流程如下：

1. 建立一個主執行緒和多個子執行緒，子執行緒可以根據需要進行建立和銷毀。
2. 主執行緒啟動時，從任務佇列中取出一個待處理的任務，將任務指派給一個子執行緒進行處理。
3. 子執行緒啟動時，透過 cURL 發起網路請求，取得所需的資料。
4. 在等待網路回應時，子執行緒可以進行其他任務處理，從而加速爬蟲運作效率。
5. 當子執行緒要求完成後，將爬取到的資料傳送給主線程，主線程將結果儲存到指定的儲存位置。
6. 如果任務佇列中還有待處理的任務，重複以上步驟。

三、實作步驟

1. 安裝pthread 擴充功能

在Linux 中，可以使用下列指令安裝pthread 擴充功能：

sudo pecl install pthreads

在Windows 中，可以從PHP 官網取得pthread 擴充功能的DLL 檔案來安裝。

2. 建立主執行緒和子執行緒

主執行緒和子執行緒的建立可以透過 PHP 中的 Thread 類別實作。

class SpiderThread extends Thread {

private $url;

public function __construct($url) {
    $this->url = $url;
}

public function run() {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $this->url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    $result = curl_exec($ch);
    curl_close($ch);
    $this->synchronized(function($thread){
        $thread->notify();
    }, $this);
    return $result;
}

}

主執行緒可以透過 pthreads 擴充的 Mutex 類別進行同步處理。

$mutex = new Mutex();
$threads = array();
foreach($urls as $url) {

$mutex->lock();
$threads[] = new SpiderThread($url);
end($threads)->start();
$mutex->unlock();
$mutex->synchronized(function($mutex){
    $mutex->wait();
}, $mutex);

}
foreach($threads as $thread) {

$result = $thread->join();
//处理爬取结果

}

#以上程式碼中，$urls 是一個儲存待爬取連結的數組，主執行緒透過遍歷數組，創建子執行緒進行任務處理，子執行緒傳回的結果儲存在$result 中。

3. 實作執行緒池

為了提高程式運作效率，我們可以使用執行緒池技術管理子執行緒的建立和銷毀。線程池中維護一定數量的子線程，當主線程向線程池提交任務時，線程池會根據線程的即時狀態從空閒線程中選取一個進行任務處理。

以下是一個簡單的執行緒池實作範例：

class ThreadPool {

private $pool;
private $tasks;

public function __construct($size) {
    $this->pool = new SplQueue();
    for($i = 0; $i < $size; $i++) {
        $this->pool->enqueue(new SpiderThread());
    }
    $this->tasks = new SplQueue();
}

public function execute($task) {
    if($this->pool->isEmpty()) {
        $this->tasks->enqueue($task);
    } else {
        $thread = $this->pool->dequeue();
        $thread->execute($task);
    }
}

public function addThread($thread) {
    $this->pool->enqueue($thread);
}

public function addTask($task) {
    $this->tasks->enqueue($task);
    $this->checkTask();
}

public function checkTask() {
    if(!$this->tasks->isEmpty() && !$this->pool->isEmpty()) {
        $thread = $this->pool->dequeue();
        $task = $this->tasks->dequeue();
        $thread->execute($task);
    }
}

}

四、總結

本文介紹了PHP 中實作非同步多執行緒爬蟲的基本方法，透過pthread 和cURL 實現了多執行緒的實作和網路資料的傳輸，可以大幅提高爬蟲的運作效率。在實際應用中，可以透過使用執行緒池技術來進一步提高程式運行效率。

以上是用 PHP 實作異步多執行緒爬蟲的方法的詳細內容。更多資訊請關注PHP中文網其他相關文章！