如何使用 DOM 操作建立一個強大的 PHP 爬蟲，從具有多個連結的網頁中提取資料？

使用 PHP 爬行：綜合指南

要從包含多個連結的網頁中提取數據，PHP 提供了各種可能性。一種方法涉及利用正規表示式，但必須避免僅依賴它們進行 HTML 解析。

基於 DOM 的爬蟲實現

Tatu 的基於 DOM 的爬蟲提供了一種可靠的替代方案。這是一個改進的版本：

function crawl_page($url, $depth = 5)
{
    static $seen = array();
    if (isset($seen[$url]) || $depth === 0) {
        return;
    }

    $seen[$url] = true;

    $dom = new DOMDocument('1.0');
    @$dom->loadHTMLFile($url);

    $anchors = $dom->getElementsByTagName('a');
    foreach ($anchors as $element) {
        $path = $element->getAttribute('href');
        if (0 !== strpos($path, 'http')) {
            $path = '/' . ltrim($path, '/');
            if (extension_loaded('http')) {
                $href = http_build_url($url, array('path' => $path));
            } else {
                $parts = parse_url($url);
                $href = $parts['scheme'] . '://';
                if (isset($parts['user']) && isset($parts['pass'])) {
                    $href .= $parts['user'] . ':' . $parts['pass'] . '@';
                }
                $href .= $parts['host'];
                if (isset($parts['port'])) {
                    $href .= ':' . $parts['port'];
                }
                $href .= dirname($parts['path'], 1).$path;
            }
        }
        crawl_page($href, $depth - 1);
    }
    echo "URL:", $url, PHP_EOL, "CONTENT:", PHP_EOL, $dom->saveHTML(), PHP_EOL, PHP_EOL;
}

這個改進的版本考慮了各種 url 場景，包括 https、用戶、通行證和連接埠。

增強

George 指出了原始版本中的一個 bug，它將相對 url 附加到 url 路徑的末尾，而不是覆蓋它。因此，這個問題已解決，確保相對 url 的行為符合預期。

保存輸出

爬蟲的修改版本將其輸出回顯到 STDOUT，允許您方便地將其重定向到您選擇的檔案。

透過合併這些增強功能，這個基於 DOM 的爬蟲提供了一個強大的解決方案，用於從 PHP 中具有多個連結的網頁中提取資料。

以上是如何使用 DOM 操作建立一個強大的 PHP 爬蟲，從具有多個連結的網頁中提取資料？的詳細內容。更多資訊請關注PHP中文網其他相關文章！