Pelaksanaan perangkak web berdasarkan PHP: ekstrak maklumat utama daripada halaman web

Dengan perkembangan pesat Internet, sejumlah besar maklumat dijana di laman web yang berbeza setiap hari. Maklumat ini merangkumi pelbagai bentuk data, seperti teks, gambar, video, dsb. Bagi mereka yang memerlukan pemahaman dan analisis data yang komprehensif, pengumpulan data secara manual daripada Internet adalah tidak praktikal.

Untuk menyelesaikan masalah ini, perangkak web telah wujud. Perangkak web ialah program automatik yang merangkak dan mengekstrak maklumat tertentu daripada Internet. Dalam artikel ini, kami akan menerangkan cara melaksanakan perangkak web menggunakan PHP.

1. Cara perangkak web berfungsi

rangkak web secara automatik merangkak data pada halaman web dengan mengakses tapak web di Internet. Sebelum merangkak data, perangkak perlu menghuraikan halaman web terlebih dahulu dan menentukan maklumat yang perlu diekstrak. Halaman web biasanya ditulis menggunakan bahasa penanda HTML atau XML, jadi perangkak perlu menghuraikan halaman web mengikut struktur sintaks bahasa penanda.

Selepas menghuraikan halaman web, perangkak boleh menggunakan ungkapan biasa atau ungkapan XPath untuk mengekstrak maklumat khusus daripada halaman web. Maklumat ini boleh berupa teks, atau bentuk data lain seperti gambar dan video.

2. PHP melaksanakan perangkak web

1. Muat turun halaman web

Fungsi file_get_contents PHP boleh digunakan untuk mendapatkan kod HTML asal halaman web. Seperti yang ditunjukkan dalam contoh berikut:

$html = file_get_contents('http://www.example.com/');

2. Menghuraikan halaman web

Sebelum menghuraikan halaman web, kita perlu menggunakan kelas DOMDocument PHP untuk menukar halaman web menjadi Objek DOM untuk memudahkan operasi seterusnya. Seperti yang ditunjukkan dalam contoh berikut:

$dom = new DOMDocument();
@$dom->loadHTML($html);

Selepas menukar kepada objek DOM, kita boleh menggunakan satu siri kaedah yang disediakan oleh kelas DOMElement untuk mengekstrak maklumat halaman web. Seperti yang ditunjukkan dalam contoh berikut:

$nodeList = $dom->getElementsByTagName('h1');
foreach ($nodeList as $node) {
    echo $node->nodeValue;
}

Kod ini boleh mengekstrak semua pengepala h1 dalam halaman web dan mengeluarkan kandungannya ke skrin.

3. Ekstrak maklumat menggunakan ungkapan XPath

Ekspresi XPath ialah binaan sintaks yang digunakan untuk mengekstrak maklumat khusus daripada dokumen XML atau HTML. Dalam PHP, kita boleh menggunakan kelas DOMXPath dan ekspresi XPath untuk mengekstrak maklumat daripada halaman web. Seperti yang ditunjukkan dalam contoh berikut:

$xpath = new DOMXPath($dom);
$nodeList = $xpath->query('//h1');
foreach ($nodeList as $node) {
    echo $node->nodeValue;
}

Kod ini serupa dengan contoh sebelumnya, tetapi menggunakan ungkapan XPath untuk mengekstrak tajuk h1.

4. Menyimpan data

Akhir sekali, kita perlu menyimpan data yang diekstrak dalam pangkalan data atau fail untuk kegunaan seterusnya. Dalam artikel ini, kami akan menggunakan fungsi manipulasi rentetan PHP untuk menyimpan data ke fail. Seperti yang ditunjukkan dalam contoh berikut:

$file = 'result.txt';
$data = 'Data to be saved';
file_put_contents($file, $data);

Kod ini menyimpan rentetan 'Data untuk disimpan' ke dalam fail 'result.txt'.

3. Kesimpulan

Artikel ini memperkenalkan prinsip asas menggunakan PHP untuk melaksanakan perangkak web. Kami membincangkan cara menggunakan PHP untuk memuat turun, menghuraikan, mengekstrak maklumat dan menyimpan data daripada halaman web. Sebenarnya, rangkak web ialah topik yang sangat kompleks, dan kami hanya membincangkan secara ringkas beberapa perkara asas. Jika anda berminat dengan ini, anda boleh mengkaji dan menyelidik lebih lanjut.

Atas ialah kandungan terperinci Pelaksanaan perangkak web berdasarkan PHP: ekstrak maklumat utama daripada halaman web. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!