PHP dan Selenium: Bagaimana untuk mengikis data dari halaman web yang berbeza?

Dengan perkembangan Internet, perangkak web sudah pasti menjadi cara penting untuk mendapatkan maklumat. Apabila kami menghadapi pelbagai laman web yang berbeza dan perlu mengumpul beberapa maklumat, kami perlu memberi tumpuan kepada mengkaji struktur halaman setiap tapak web. Jadi adakah terdapat kaedah umum untuk merangkak data pada tapak web yang berbeza? Jawapannya ya, artikel ini akan memperkenalkan cara menggunakan PHP dan Selenium untuk merangkak data pada halaman web yang berbeza.

Apakah Selenium?

Selenium boleh dikatakan sebagai salah satu piawaian dalam komuniti ujian automasi web Ia boleh mensimulasikan operasi pengguna dalam penyemak imbas, termasuk input, klik, pemilihan kotak lungsur, muat naik fail, dll. Kami boleh menggunakan Selenium untuk melaksanakan ujian automatik halaman web, tetapi di sini, kami akan menggunakan Selenium untuk merangkak data.

Mengapa menggunakan Selenium?

Apabila mengikis data, kami sering menemui beberapa halaman yang boleh diakses melalui permintaan curl atau file_get_contents yang ringkas. Walau bagaimanapun, dengan perkembangan teknologi Web, banyak laman web telah menggunakan rangka kerja bahagian hadapan seperti Ajax, Vue, dan React, dan data halaman diperoleh secara tak segerak melalui JavaScript. Dalam kes ini, kita perlu mensimulasikan operasi penyemak imbas untuk mendapatkan hasil pemaparan halaman yang lengkap. Selain itu, untuk mengelakkan perangkak, sesetengah tapak web akan menggunakan kod pengesahan dan cara lain untuk pengesahan Pada masa ini, kami juga perlu menggunakan Selenium untuk mensimulasikan operasi manual sebelum kami boleh terus menangkap data.

Proses asas menggunakan PHP dan Selenium untuk menangkap data

Langkah pertama ialah memasang Selenium

Pemasangan Selenium sangat mudah, hanya gunakan Composer di terminal untuk melaksanakan arahan berikut Itu sahaja:

composer require php-webdriver/webdriver

Selepas pemasangan selesai, kami perlu memuat turun pemacu untuk penyemak imbas yang sepadan dengan mengambil Chrome sebagai contoh, anda perlu memuat turun chromedriver dan meletakkan pemacu yang dimuat turun di lokasi yang ditunjukkan oleh pembolehubah PATH.

Langkah kedua ialah memulakan Selenium

Memulakan Selenium adalah sangat mudah, cuma masukkan arahan berikut dalam terminal:

java -jar path/to/selenium-server-standalone-3.141.59.jar

Antaranya, laluan/ke/ ialah Selenium’s Laluan pemasangan.

Langkah ketiga ialah menggunakan Selenium untuk melaksanakan penangkapan data

Dengan Selenium dan pemacu penyemak imbas, kami boleh terus menggunakan PHP untuk memanggil API Selenium untuk melaksanakan ujian tapak web automatik dan penangkapan data. Mari kita ambil contoh merangkak maklumat filem TOP250 dalam Filem Douban untuk pengenalan:

1. Buka penyemak imbas dan masukkan URL

use FacebookWebDriverRemoteDesiredCapabilities;
use FacebookWebDriverRemoteRemoteWebDriver;

$host = 'http://localhost:4444/wd/hub'; // Selenium本地服务地址
$capabilities = DesiredCapabilities::chrome();
$webDriver = RemoteWebDriver::create($host, $capabilities);

$url = 'https://movie.douban.com/top250';
$webDriver->get($url);

2. Klik pada halaman seterusnya untuk meneruskan Dapatkan maklumat filem

do {
    // 获取电影列表并输出
    $list = $webDriver->findElements(WebDriverBy::cssSelector('.grid_view .item'));
    foreach ($list as $item) {
        $name = $item->findElement(WebDriverBy::cssSelector('.title'))->getText();
        $directors = $item->findElement(WebDriverBy::cssSelector('.bd p:first-child'))->getText();
        $rate = $item->findElement(WebDriverBy::cssSelector('.rating_num'))->getText();
        echo "$name $directors $rate
";
    }

    // 点击下一页
    $nextPageBtn = $webDriver->findElement(WebDriverBy::cssSelector('.paginator .next a'));
    $nextPageBtnClassName = $nextPageBtn->getAttribute('class');
    if (strpos($nextPageBtnClassName, 'disabled') === false) {
        $nextPageBtn->click();
    } else {
        break;
    }

    // 等待新页面加载完成
    $webDriver->wait()->until(WebDriverExpectedCondition::urlContains(intval($page + 1)));
} while (true);

3. Tutup penyemak imbas

$webDriver->quit();

Dengan kod di atas, kami boleh mendapatkan maklumat berkaitan filem TOP250 Douban dengan mudah.

Ringkasan

Artikel ini memperkenalkan cara menggunakan PHP dan Selenium untuk merangkak data pada tapak web yang berbeza, dan menerangkan langkah pelaksanaan khusus secara terperinci berserta contoh. Menggunakan Selenium membolehkan kami mendapatkan data dengan lebih mudah dan mendapatkan maklumat yang diperlukan dengan lebih cepat, yang sangat berguna untuk beberapa tugas merangkak yang memerlukan penyesuaian yang tinggi.

Atas ialah kandungan terperinci PHP dan Selenium: Bagaimana untuk mengikis data dari halaman web yang berbeza?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!