PHP和Selenium：如何在不同的網頁抓取資料？-php教程-PHP中文網

PHP和Selenium：如何在不同的網頁抓取資料？

PHPz

發布： 2023-06-16 10:02:02

原創

1046 人瀏覽過

隨著網路的發展，web爬蟲無疑成為了獲取資訊的重要手段。當我們面對多個不同的網站，需要收集其中某些資訊的時候，我們必須將精力集中在研究各個網站的頁面結構上。那麼有沒有一種通用的方法，可以在不同的網站上抓取資料呢？答案是肯定的，本篇文章將介紹如何使用PHP和Selenium在不同的網頁上進行資料擷取。

Selenium是什麼？

Selenium可以說是Web自動化測試界的標準之一，它可以模擬使用者在瀏覽器中的操作，包括輸入、點擊、下拉方塊選擇、上傳檔案等。我們可以利用Selenium實現網頁的自動化測試，但在這裡，我們會使用Selenium來進行資料的抓取。

為什麼要使用Selenium？

在進行資料抓取的時候，我們常常會遇到一些可以透過簡單的curl或file_get_contents請求就可以存取的頁面。但隨著Web技術的發展，許多網站已經採用了Ajax、Vue、React等前端框架，而頁面的資料是透過JavaScript非同步取得的。對於這種情況，我們需要模擬瀏覽器的操作，才能得到頁面完整的渲染結果。此外，某些網站為了防止爬蟲，會使用驗證碼等手段來驗證，這時候我們也需要使用Selenium來模擬人工操作，才能繼續進行資料的抓取。

使用PHP和Selenium抓取資料的基本流程

第一步，安裝Selenium

Selenium的安裝十分簡單，只需要在終端中使用Composer執行以下命令即可：

composer require php-webdriver/webdriver

登入後複製

安裝完成後，我們需要下載對應瀏覽器的驅動，以Chrome為例，你需要下載chromedriver, 將下載好的驅動放到PATH 變數指向的位置。

第二步，啟動Selenium

啟動Selenium很簡單，只需要在終端機中輸入以下指令：

java -jar path/to/selenium-server-standalone-3.141.59.jar

登入後複製

其中，path/to/為Selenium的安裝路徑。

第三步，使用Selenium實現資料抓取

有了Selenium和瀏覽器驅動，我們就可以直接使用PHP來呼叫Selenium的API實現網站自動化測試和資料抓取了。下面我們以爬取豆瓣電影中的TOP250電影資訊為例進行介紹：

開啟瀏覽器並輸入URL

use FacebookWebDriverRemoteDesiredCapabilities;
use FacebookWebDriverRemoteRemoteWebDriver;

$host = 'http://localhost:4444/wd/hub'; // Selenium本地服务地址
$capabilities = DesiredCapabilities::chrome();
$webDriver = RemoteWebDriver::create($host, $capabilities);

$url = 'https://movie.douban.com/top250';
$webDriver->get($url);

登入後複製

do {
    // 获取电影列表并输出
    $list = $webDriver->findElements(WebDriverBy::cssSelector('.grid_view .item'));
    foreach ($list as $item) {
        $name = $item->findElement(WebDriverBy::cssSelector('.title'))->getText();
        $directors = $item->findElement(WebDriverBy::cssSelector('.bd p:first-child'))->getText();
        $rate = $item->findElement(WebDriverBy::cssSelector('.rating_num'))->getText();
        echo "$name $directors $rate
";
    }

    // 点击下一页
    $nextPageBtn = $webDriver->findElement(WebDriverBy::cssSelector('.paginator .next a'));
    $nextPageBtnClassName = $nextPageBtn->getAttribute('class');
    if (strpos($nextPageBtnClassName, 'disabled') === false) {
        $nextPageBtn->click();
    } else {
        break;
    }

    // 等待新页面加载完成
    $webDriver->wait()->until(WebDriverExpectedCondition::urlContains(intval($page + 1)));
} while (true);

登入後複製