Bagaimana untuk menggunakan PHP dan phpSpider untuk operasi merangkak web?

Bagaimana untuk menggunakan PHP dan phpSpider untuk operasi merangkak web?

【Pengenalan】
Dalam era ledakan maklumat hari ini, terdapat sejumlah besar data berharga di Internet, dan perangkak web ialah alat berkuasa yang boleh digunakan untuk merangkak dan mengekstrak data secara automatik daripada halaman web. Sebagai bahasa pengaturcaraan yang popular, PHP boleh dengan cepat dan cekap melaksanakan fungsi perangkak web dengan menggabungkannya dengan phpSpider, alat sumber terbuka.

【Langkah khusus】

1. Pasang phpSpider
   Mula-mula, kita perlu memasang alat phpSpider. Ia boleh dipasang melalui komposer, buka terminal atau command prompt, dan laksanakan arahan berikut:

   composer require sunra/php-simple-html-dom-parser

2. Buat perangkak mudah
   Seterusnya, kami mencipta perangkak mudah untuk merangkak kandungan pada halaman web yang ditentukan. Mula-mula, buat fail bernama spider.php dan tambah kod berikut dalam fail:

   <?php
   
   require 'vendor/autoload.php';
   use SunraPhpSimpleHtmlDomParser;
   
   $url = 'https://www.example.com'; // 指定要爬取的网页URL
   
   // 获取网页内容
   $html = file_get_contents($url);
   
   // 解析HTML
   $dom = HtmlDomParser::str_get_html($html);
   
   // 提取需要的数据
   $title = $dom->find('title', 0)->plaintext; // 获取网页标题
   echo "标题：" . $title . "
   ";
   
   $links = $dom->find('a'); // 获取所有链接
   foreach ($links as $link) {
       echo "链接：" . $link->href . "
   ";
   }
   
   ?>

   Jalankan skrip dan anda akan melihat tajuk halaman web yang dirangkak dan semua pautan pada baris arahan atau terminal.

3. Tentukan peraturan merangkak
   phpSpider juga menyediakan ciri yang lebih maju, anda boleh menggunakan pemilih CSS atau XPath untuk menentukan kandungan untuk merangkak. Sebagai contoh, kita boleh mengubah suai kod di atas untuk hanya menangkap elemen dengan nama kelas CSS yang ditentukan "produk", seperti yang ditunjukkan di bawah:

   <?php
   
   // ...
   
   // 提取需要的数据
   $elements = $dom->find('.product'); // 获取所有CSS类名为"product"的元素
   foreach ($elements as $element) {
       echo "产品名称：" . $element->plaintext . "
   ";
       echo "产品链接：" . $element->href . "
   ";
   }
   
   ?>

   Jalankan kod yang diubah suai kepada elemen output sahaja dengan nama kelas CSS "produk" dan Pautannya.

4. Tetapkan pengepala permintaan
   Kadangkala, tapak web akan melakukan pemprosesan anti perangkak berdasarkan kandungan pengepala permintaan Untuk mensimulasikan penyemak imbas yang menghantar permintaan dengan lebih baik, kami boleh menetapkan pengepala permintaan. Seperti yang ditunjukkan di bawah:

   <?php
   
   // ...
   
   // 设置请求头
   $options = [
       'http' => [
           'header' => "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36
   "
       ]
   ];
   $context = stream_context_create($options);
   
   // 获取网页内容
   $html = file_get_contents($url, false, $context);
   
   // ...
   
   ?>

   Jalankan kod yang diubah suai untuk merangkak menggunakan pengepala permintaan penyemak imbas simulasi.

【Ringkasan】
Dengan menggabungkan PHP dan phpSpider, alat sumber terbuka, kami boleh melaksanakan fungsi perangkak web dengan mudah. Dalam artikel ini, kami memperkenalkan cara memasang phpSpider, mencipta perangkak mudah dan merangkak kandungan pada halaman web. permintaan. Saya harap artikel ini akan membantu anda memahami dan menggunakan PHP dan phpSpider untuk operasi merangkak web.

Atas ialah kandungan terperinci Bagaimana untuk menggunakan PHP dan phpSpider untuk operasi merangkak web?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!