Tutorial perangkak asas: Laksanakan perangkak web asas menggunakan PHP

Dengan perkembangan dan kemajuan teknologi Internet yang berterusan, orang ramai mempunyai lebih banyak cara untuk mendapatkan maklumat Sebagai salah satu alat, perangkak web memainkan peranan yang semakin penting dalam membantu orang ramai memperoleh maklumat. Perangkak web ialah program automatik yang mengumpul, memperoleh, menganalisis dan menyimpan data daripada halaman web di Internet.

Pelaksanaan web crawler boleh dijalankan melalui pelbagai bahasa pengaturcaraan Antaranya, bahasa PHP adalah bahasa yang digunakan secara meluas dalam bidang pembangunan rangkaian mempunyai kecekapan pembangunan yang tinggi Oleh itu, artikel ini akan menggunakan bahasa PHP Sebagai contoh, kami akan memperkenalkan cara menggunakan PHP untuk melaksanakan perangkak web asas.

1. Gambaran Keseluruhan

Anda perlu mengetahui perkara berikut apabila mula mempelajari perangkak web PHP:

1 Prinsip kerja perangkak web: halaman permintaan perangkak web daripada maklumat rangkaian, dapatkan respons, dan huraikan data respons untuk tangkapan data.

2. Proses rangkak perangkak web: Perangkak perlu mengumpulkan URL untuk membina baris gilir perangkak, meminta URL untuk mendapatkan halaman HTML, menghuraikan data dalam halaman HTML dan menyimpan data.

3. Kaedah penghuraian perangkak web: Selepas perangkak web memperoleh halaman HTML, ia perlu menghuraikan data dan menyimpan data termasuk ungkapan biasa, DOM, XPath, dsb.

2. Bina baris gilir perangkak

Langkah pertama dalam melaksanakan perangkak ialah membina baris gilir perangkak, iaitu, bina senarai URL untuk dirangkak. Dalam PHP, kita boleh menggunakan tatasusunan untuk menyimpan URL ini, dan kemudian melintasi tatasusunan untuk membuat permintaan kepada URL ini. Contohnya:

$url_list = array(
    'https://www.example.com/page1.html',
    'https://www.example.com/page2.html',
    'https://www.example.com/page3.html'
);
foreach($url_list as $url){
    //请求该URL并进行解析数据的操作
}

3. Minta URL untuk mendapatkan halaman HTML

Dalam PHP, kami boleh menggunakan modul sambungan cURL untuk menghantar permintaan HTTP. cURL ialah perpustakaan pemindahan URL sisi klien yang menyokong berbilang protokol, membenarkan skrip web PHP menghantar fail dan data ke pelayan lain. cURL menyediakan beberapa kaedah untuk mensimulasikan akses penyemak imbas Kaedah permintaan yang biasa digunakan ialah GET, POST, PUT, COOKIE dan kaedah permintaan lain.

Berikut ialah contoh kod untuk menggunakan cURL untuk meminta URL:

//初始化cURL
$ch = curl_init();
//设置URL和其他请求选项
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
//执行HTTP请求
$result = curl_exec($ch);
//关闭cURL资源
curl_close($ch);

Dalam kod ini, kami mula-mula menggunakan fungsi curl_init() untuk memulakan cURL, dan kemudian gunakan curl_setopt() fungsi untuk menetapkan pilihan permintaan, di mana CURLOPT_URL Digunakan untuk menentukan URL permintaan, CURLOPT_RETURNTRANSFER menetapkan keputusan permintaan untuk dikembalikan sebagai rentetan, dan akhirnya menggunakan fungsi curl_exec() untuk membuat permintaan HTTP dan mendapatkan hasil permintaan. Gunakan fungsi curl_close() untuk menutup sumber cURL.

4. Menghuraikan data dalam halaman HTML

Selepas mendapatkan halaman HTML, anda perlu mengekstrak maklumat berguna daripadanya. Terdapat banyak cara untuk menghuraikan halaman HTML Di sini kita akan menghuraikannya melalui DOM.

Penghuraian DOM ialah cara menganalisis dokumen XML/HTML. Dalam PHP, kita boleh menggunakan kelas DOMDocument untuk menghuraikan halaman HTML. Mula-mula, anda perlu membuat instantiate kelas DOMDocument, kemudian gunakan kaedah loadHTML() untuk memuatkan halaman HTML ke dalam parser, dan akhirnya gunakan kaedah getElementsByTagName() untuk mendapatkan objek elemen yang diperlukan.

Berikut ialah contoh kod yang menggunakan DOM untuk menghuraikan halaman HTML:

//实例化DOMDocument类
$dom = new DOMDocument();
//禁用HTML原始输入
$dom->preserveWhiteSpace = false;
//载入HTML页面
$dom->loadHTML($result);
//获取所需元素
$element = $dom->getElementsByTagName('div');

Dalam kod ini, kita mula-mula mencipta objek DOMDocument, kemudian gunakan atribut preserveWhiteSpace untuk mengalih keluar aksara ruang putih dalam HTML, dan kemudian gunakan kaedah loadHTML () untuk memuatkan halaman HTML, dan akhirnya gunakan kaedah getElementsByTagName() untuk mendapatkan elemen yang ditentukan.

5. Simpan data

Selepas mengekstrak maklumat yang berguna, kami perlu menyimpan maklumat tersebut. Dalam PHP, kita boleh menggunakan pangkalan data MySQL untuk penyimpanan data.

Pertama, anda perlu menggunakan fungsi mysqli_connect() untuk menyambung ke pangkalan data MySQL. Kemudian gunakan fungsi mysqli_query() untuk melaksanakan pernyataan SQL untuk memasukkan data ke dalam pangkalan data.

Berikut ialah contoh kod untuk menggunakan pangkalan data MySQL untuk menyimpan data:

//连接到MySQL数据库
$con = mysqli_connect('localhost', 'root', '', 'test');
//将数据插入到数据库中
mysqli_query($con, "INSERT INTO test (name, age) VALUES ('Tom', 20)");

Dalam kod ini, kami mula-mula menggunakan fungsi mysqli_connect() untuk menyambung ke pangkalan data MySQL, dan kemudian menggunakan mysqli_query() berfungsi untuk menguji Masukkan data ke dalam jadual.

6. Ringkasan

Artikel ini memperkenalkan proses asas menggunakan PHP untuk melaksanakan perangkak web, termasuk membina baris gilir perangkak, meminta URL untuk mendapatkan halaman HTML, menghuraikan data dalam halaman HTML dan menyimpan data. Pada masa yang sama, artikel ini hanyalah panduan pembelajaran awal Terdapat banyak faktor yang perlu dipertimbangkan dalam pembangunan sebenar, seperti pembersihan data, mekanisme anti-crawler, dll. Walau bagaimanapun, saya percaya bahawa artikel ini boleh memberikan pemahaman awal tentang pelaksanaan perangkak web PHP dan meletakkan asas untuk pembelajaran selanjutnya.

Atas ialah kandungan terperinci Tutorial perangkak asas: Laksanakan perangkak web asas menggunakan PHP. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!