如何用PHP和Selenium打造快速、有效率的網路爬蟲-php教程-PHP中文網

如何用PHP和Selenium打造快速、有效率的網路爬蟲

WBOY

發布： 2023-06-15 20:54:01

原創

1388 人瀏覽過

在網路的浩瀚世界中，有著大量的資訊需要挖掘。在這個時候，網路爬蟲就應運而生了。但是，爬蟲的寫法卻千差萬別。不同的語言和工具組合可以有不同的效率，學習成本也不盡相同。本文將介紹如何以PHP和Selenium打造快速、有效率的網路爬蟲。

什麼是Selenium

Selenium是一個自動化測試工具，可以模擬人類對網頁的運作。它支援多種程式語言，如Java、Python、C#和PHP等。現在的版本是Selenium WebDriver，與先前的版本相比，它不需要使用Selenium RC來作為中間層，而是直接與瀏覽器通信，在速度和穩定性上都有了很大的提升。

為什麼選擇PHP和Selenium

首先，PHP是一門流行的伺服器端程式語言，具備良好的可讀性和可擴展性。其次，Selenium作為自動化測試工具，可以驅動各種瀏覽器，方便模擬人類對網頁的操作，並抓取最終想要的資料。最後，由於PHP語言中使用的curl函數可能會被網站屏蔽，而Selenium則可以模擬真實的瀏覽器行為，不容易被屏蔽。

安裝Selenium

安裝Selenium前，需要先安裝Composer，如果你還未安裝Composer，請參考官方文件進行安裝。

在安裝Composer後，透過Composer安裝Selenium的PHP介面：

composer require facebook/webdriver

登入後複製

編寫爬蟲程式碼

首先，我們需要引入Selenium WebDriver的客戶端：

require_once 'vendor/autoload.php';
use FacebookWebDriverRemoteRemoteWebDriver;
use FacebookWebDriverWebDriverBy;

登入後複製

然後，我們需要實例化一個WebDriver，選擇要啟動的瀏覽器和對應的driver路徑：

$driver = RemoteWebDriver::create(
    'http://localhost:9515',
    DesiredCapabilities::chrome()
);

登入後複製

這裡我們選擇的是啟動Chrome瀏覽器，需要提前下載ChromeDriver並設定driver路徑：

putenv('webdriver.chrome.driver=/usr/local/bin/chromedriver');

登入後複製

接著，我們就可以開啟一個網頁，並且取得其中的資料了：

$driver->get("https://www.example.com");
$elements = $driver->findElements(WebDriverBy::cssSelector(".example-class"));
foreach ($elements as $element) {
    echo $element->getText() . "
";
}

登入後複製

這裡的程式碼開啟一個example.com頁面，然後找到其中的class為example-class的元素，並將其列印出來。

如何加速爬蟲

Selenium爬蟲相較於其他的爬蟲工具而言，速度較慢，主要是由於每次操作都需要啟動和關閉瀏覽器。為了加速爬蟲，我們可以將WebDriver的實例進行快取。

$host = 'http://localhost:9515';
$options = new ChromeOptions();
$options->addArguments(['--headless']);
$caps = DesiredCapabilities::chrome();
$caps->setCapability(ChromeOptions::CAPABILITY, $options);
$driver = RemoteWebDriver::create($host, $caps);

function get_web_driver() {
    global $driver;
    $status = true;
    try {
        $driver->getTitle();
    } catch (Exception $e) {
        $status = false;
    }
    if (!$status) {
        $releaseWebDriver = function() use($driver){ $driver->close(); $driver->quit(); };
        register_shutdown_function($releaseWebDriver);
        $options = new ChromeOptions();
        $options->addArguments(['--headless']);
        $caps = DesiredCapabilities::chrome();
        $caps->setCapability(ChromeOptions::CAPABILITY, $options);
        $new_driver = RemoteWebDriver::create(
            'http://localhost:9515',
            $caps
        );
        $driver = $new_driver;
    }
    return $driver;
}

登入後複製

以上程式碼針對Chrome瀏覽器，進行Headless模式下的設置，並實現了對WebDriver物件的緩存，利用register_shutdown_function()函數來註銷WebDriver物件操作，從而避免了頻繁地啟動瀏覽器，提高了爬蟲的效率。