Amalan perangkak praktikal: Gunakan PHP untuk merangkak maklumat perjalanan Ctrip

Dengan perkembangan berterusan industri pelancongan, maklumat perjalanan menjadi sangat kaya. Untuk memudahkan semua orang mendapatkan maklumat perjalanan yang lebih komprehensif dan tepat, kami boleh menggunakan perangkak untuk merangkak data di tapak web perjalanan, menganalisis dan memprosesnya. Artikel ini akan memperkenalkan cara menggunakan PHP untuk merangkak maklumat perjalanan Ctrip.

1. Asas perangkak

Perangkak ialah atur cara automatik yang mensimulasikan pengguna yang melawat tapak web dan mendapatkan data di tapak web. Perangkak biasanya dibahagikan kepada langkah berikut:

1. Mulakan permintaan: Program perangkak akan memulakan permintaan HTTP ke tapak web sasaran dan mendapatkan kod HTML tapak web sasaran.
2. Menghuraikan HTML: Gunakan penghurai yang sesuai untuk menghuraikan kod HTML dan mendapatkan data yang diperlukan. Penghurai biasa termasuk ungkapan biasa, penghurai XPath dan DOM.
3. Menyimpan data: Simpan data yang diperoleh dalam fail atau pangkalan data untuk analisis dan pemprosesan seterusnya.
4. Analisis tapak web sasaran

Sebelum menulis perangkak, anda perlu menganalisis struktur dan data tapak web sasaran terlebih dahulu. Tapak web sasaran perangkak ini ialah tapak web perjalanan Ctrip. Kami perlu menganalisis struktur URL dan kod HTML tapak web untuk menentukan cara ia diminta dan cara ia dihuraikan.

2.1 Analisis struktur URL

Struktur URL tapak web pelancongan Ctrip agak mudah dan setiap produk pelancongan mempunyai nombor ID unik. Ambil imbas pelancongan Beijing sebagai contoh URLnya ialah: https://you.ctrip.com/sight/beijing1.html. Antaranya, beijing1 mewakili nombor ID Pelancongan Beijing.

2.2 Analisis kod HTML

Gunakan alat pembangun penyemak imbas Chrome untuk melihat kod HTML halaman web Anda boleh mendapati bahawa maklumat perjalanan pada halaman itu berada dalam div dengan kelas "senarai_mod2". Div ini mengandungi maklumat terperinci tentang setiap produk pelancongan, termasuk nama produk, harga, ulasan, dsb. Dalam program perangkak, kita perlu menggunakan penghurai DOM PHP untuk menghuraikan maklumat ini.

3. Penulisan program crawler

Sekarang kami telah memahami struktur URL dan kod HTML tapak web sasaran, kami boleh menulis program perangkak untuk mendapatkan maklumat perjalanan.

3.1 Mulakan permintaan HTTP

Pertama, kita perlu menggunakan perpustakaan cURL PHP untuk memulakan permintaan HTTP ke tapak web sasaran dan mendapatkan kod HTML tapak web sasaran. Dalam kod, kami menggunakan gelung, bermula dari ID=1, untuk mendapatkan maklumat terperinci bagi setiap produk perjalanan mengikut turutan.

//爬取ID号从1到n的旅游产品的详细信息
for($i=1;$i<=$n;$i++){
    $url = "https://you.ctrip.com/sight/beijing$i.html"; //目标网站URL
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    $html = curl_exec($ch);
    curl_close($ch);
    }

3.2 Menghuraikan kod HTML

Seterusnya, kami menggunakan penghurai DOM PHP untuk menghuraikan kod HTML tapak web sasaran dan mendapatkan maklumat produk perjalanan yang kami perlukan. Dalam kod, kami menggunakan ungkapan XPath untuk memilih div dengan kelas "list_mod2" dan mendapatkan nama produk, harga, penilaian dan maklumat lain.

$doc = new DOMDocument();
$doc->loadHTML($html);
$xpath = new DOMXPath($doc);
$list_mod2 = $xpath->query('//*[@class="list_mod2"]'); //选择class为"list_mod2"的div
foreach($list_mod2 as $mod){
    $modImg = $xpath->query('a/img/@src', $mod)->item(0)->nodeValue; //获取产品图片URL
    $modTitle = $xpath->query('div/h2/a', $mod)->item(0)->nodeValue; //获取产品名称
    $modContent = $xpath->query('div/div/div/p/@title', $mod)->item(0)->nodeValue; //获取产品简介
    $modPrice = $xpath->query('div/div/span/em', $mod)->item(0)->nodeValue; //获取产品价格
    $modComment = $xpath->query('div/div/div/div/span[1]', $mod)->item(0)->nodeValue; //获取产品评价分数
    $modCommentNum = $xpath->query('div/div/div/div/span[2]', $mod)->item(0)->nodeValue; //获取产品评价人数
}

3.3 Menyimpan data

Akhir sekali, kami menyimpan maklumat produk pelancongan yang diperolehi dalam pangkalan data. Dalam kod tersebut, kami menggunakan sambungan PDO PHP untuk menyambung ke pangkalan data dan memasukkan maklumat produk yang diperoleh ke dalam jadual pangkalan data bernama "product_info".

//连接数据库
$dsn = 'mysql:host=localhost;port=3306;dbname=test;charset=utf8';
$username = 'root';
$password = '123456';
$options = array(PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION);
$dbh = new PDO($dsn, $username, $password, $options);

//将获取到的产品信息插入到数据库
$stmt = $dbh->prepare("INSERT INTO product_info(img_url, title, content, price, comment_score, comment_num) VALUES(?, ?, ?, ?, ?, ?)");
$stmt->bindParam(1, $modImg);
$stmt->bindParam(2, $modTitle);
$stmt->bindParam(3, $modContent);
$stmt->bindParam(4, $modPrice);
$stmt->bindParam(5, $modComment);
$stmt->bindParam(6, $modCommentNum);
$stmt->execute();

4. Ringkasan

Menggunakan PHP untuk menulis program perangkak, anda boleh dengan mudah merebut maklumat produk pelancongan tapak web pelancongan Ctrip dan menyimpannya dalam pangkalan data. Dalam pembangunan sebenar, kami juga boleh menggunakan multi-threading, proksi IP dan teknologi lain untuk meningkatkan kecekapan dan kestabilan program perangkak. Walau bagaimanapun, perlu diambil perhatian bahawa apabila menggunakan program perangkak, dasar hak cipta dan privasi tapak web sasaran harus dihormati untuk mengelakkan pelanggaran dan penyalahgunaan.

Atas ialah kandungan terperinci Amalan perangkak praktikal: Gunakan PHP untuk merangkak maklumat perjalanan Ctrip. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!