Tutorial PHP dan phpSpider: Bagaimana untuk bermula dengan cepat?

Tutorial PHP dan phpSpider: Bagaimana untuk bermula dengan cepat?

Pengenalan:
Dalam era ledakan maklumat hari ini, kami melayari sejumlah besar halaman web dan tapak web setiap hari. Kadangkala, kami mungkin perlu merangkak data khusus daripada halaman web untuk analisis dan pemprosesan. Ini memerlukan penggunaan perangkak web (Labah-labah Web) untuk merangkak kandungan web secara automatik. PHP ialah bahasa pengaturcaraan yang sangat popular, dan phpSpider ialah rangka kerja PHP berkuasa yang direka untuk membina dan mengurus perangkak web. Artikel ini akan memperkenalkan cara menggunakan PHP dan phpSpider untuk bermula dengan cepat dengan pengaturcaraan perangkak web.

1. Pasang dan konfigurasikan persekitaran PHP
Pertama, untuk dapat menjalankan PHP dan phpSpider, kita perlu membina persekitaran berjalan PHP secara setempat. Anda boleh memilih untuk memasang persekitaran pembangunan bersepadu seperti XAMPP atau WAMP, atau anda boleh memasang PHP dan Apache secara berasingan. Selepas pemasangan, pastikan versi PHP anda ialah 5.6 ke atas dan pasangkan sambungan yang diperlukan, seperti cURL, dsb.

2. Pasang phpSpider
Selepas persekitaran PHP disediakan, kita perlu memasang phpSpider. Anda boleh mencari versi terkini phpSpider di GitHub dan memuat turunnya. Ekstrak fail yang dimuat turun ke direktori akar web persekitaran php anda.

3. Tulis program perangkak pertama
Buat fail spider.php baharu dan masukkan fail teras phpSpider ke dalam fail.

include('spider.php');

// 创建一个新的爬虫实例
$spider = new Spider();

// 设置初始URL
$spider->setUrl('https://www.example.com');

// 设置爬取的深度
$spider->setMaxDepth(5);

// 设置爬取的页面数量
$spider->setMaxPages(50);

// 设置爬虫的User-Agent
$spider->setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36');

// 设置爬虫爬取间隔时间，单位为秒
$spider->setDelay(1);

// 设置爬虫爬取的超时时间，单位为秒
$spider->setTimeout(10);

// 启动爬虫
$spider->run();

Kod di atas mencipta contoh perangkak baharu dengan memperkenalkan fail spider.php. Kemudian URL awal, kedalaman dan bilangan halaman yang akan dirangkak ditetapkan dan Ejen Pengguna perangkak ditetapkan melalui kaedah setUserAgent Ini adalah untuk membenarkan perangkak mensimulasikan pelayar untuk mengakses tapak web. Akhir sekali, selang merangkak dan tamat masa ditetapkan, dan kaedah larian dipanggil untuk memulakan perangkak.

4. Menghuraikan dan memproses kandungan halaman web
Dalam program perangkak, kita bukan sahaja perlu merangkak kandungan halaman web, tetapi juga perlu menghuraikan dan memproses kandungan halaman web. phpSpider menyediakan satu siri kaedah untuk menghuraikan kandungan web, seperti get, post, xpath, dll. Di bawah ialah contoh untuk menghuraikan dan mengekstrak data tertentu.

include('spider.php');

$spider = new Spider();

$spider->setUrl('https://www.example.com');

$spider->setMaxDepth(1);

$spider->setMaxPages(1);

$spider->setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36');

$spider->setDelay(1);

$spider->setTimeout(10);

// 解析网页内容
$spider->setPageProcessor(function($page) {
    $title = $page->xpath('//title')[0];
    echo "网页标题：".$title.PHP_EOL;
});

$spider->run();

Dalam kod di atas, kami menetapkan fungsi panggil balik dengan memanggil kaedah setPageProcessor untuk menghuraikan kandungan halaman web. Dalam fungsi panggil balik, kami menggunakan kaedah xpath untuk mendapatkan tajuk halaman web dan mencetaknya. Anda boleh menulis fungsi penghuraian anda sendiri untuk memproses kandungan halaman web.

5. Jalankan program crawler
Selepas menyimpan fail spider.php, kita boleh menjalankan program pada baris arahan.

php spider.php

Atur cara akan merangkak halaman web secara automatik bermula dari URL awal dan menghuraikan kandungan halaman web. Anda akan melihat bahawa program perangkak secara berterusan mengeluarkan hasil yang dihuraikan.

Kesimpulan:
Artikel ini memperkenalkan secara ringkas cara menggunakan PHP dan phpSpider untuk bermula dengan cepat dengan pengaturcaraan perangkak web. Dengan membaca artikel ini, anda seharusnya dapat menguasai cara memasang dan mengkonfigurasi persekitaran PHP, dan cara menggunakan phpSpider untuk membina dan mengurus perangkak web. Saya harap artikel ini akan membantu anda bermula dengan pengaturcaraan perangkak web. Jika anda mempunyai lebih banyak keperluan pembelajaran, anda boleh merujuk kepada dokumentasi rasmi phpSpider untuk mengetahui lebih lanjut dan menguasai teknologi perangkak web yang lebih maju.

Atas ialah kandungan terperinci Tutorial PHP dan phpSpider: Bagaimana untuk bermula dengan cepat?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!