Amalan perangkak PHP: cara merangkak data jadual web

Dengan kemunculan Internet dan era data besar, semakin banyak data boleh dikumpul dan digunakan. Di antara banyak kaedah untuk mendapatkan data dari halaman web, teknologi crawler boleh dikatakan sebagai yang paling berkuasa dan cekap.

Dalam senario aplikasi sebenar, kita selalunya perlu mengambil data khusus daripada halaman web, terutamanya data jadual dalam halaman web. Oleh itu, artikel ini akan memperkenalkan cara menggunakan teknologi perangkak PHP untuk mendapatkan dan menghuraikan data jadual dalam halaman web.

1. Pasang dan konfigurasikan pustaka perangkak PHP

Sebelum kita mula menulis kod perangkak, kita perlu memasang dan mengkonfigurasi perpustakaan perangkak PHP. Di sini kami memilih untuk menggunakan pustaka PHP Simple HTML DOM Parser, yang merupakan penghurai HTML ringan yang boleh menghuraikan tag dan atribut dengan mudah dalam dokumen HTML, dan menyediakan beberapa kaedah operasi DOM yang biasa digunakan. Perpustakaan boleh dipasang dan dikonfigurasikan dengan mudah menggunakan alat komposer.

2. Analisis halaman web sasaran

Sebelum menulis kod untuk menangkap data halaman web, kita perlu menganalisis struktur dan format data halaman web sasaran terlebih dahulu supaya kita dapat dengan betul mencari dan mendapatkannya data yang diperlukan. Di sini kami mengambil halaman senarai artikel tapak web blog sebagai contoh Ia mengandungi berbilang baris data dan beberapa elemen jadual, seperti yang ditunjukkan di bawah:

<table>
  <thead>
    <tr>
      <th>编号</th>
      <th>标题</th>
      <th>作者</th>
      <th>发布时间</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>1</td>
      <td><a href="/articles/1">PHP爬虫实战</a></td>
      <td>张三</td>
      <td>2022-06-01 08:00:00</td>
    </tr>
    <tr>
      <td>2</td>
      <td><a href="/articles/2">Python数据可视化</a></td>
      <td>李四</td>
      <td>2022-06-02 09:00:00</td>
    </tr>
    <!-- more rows -->
  </tbody>
</table>

Jadual dalam halaman web ini terdiri daripada <table>, <🎜. >, Ia terdiri daripada teg seperti <thead> dan <tbody>, di mana <tr> digunakan untuk mentakrifkan pengepala lajur jadual, <thead> digunakan untuk menentukan data baris jadual, <tbody> digunakan untuk mentakrifkan data sel dan teg <td> Pautan yang mewakili tajuk artikel. <a>

Tulis kod perangkak

Dengan hasil analisis halaman web sasaran, kami boleh menulis kod perangkak untuk mendapatkan data jadual.

Pertama, kita perlu memuatkan halaman web sasaran dan kemudian menggunakan kaedah

untuk menukarnya menjadi objek DOM. Kemudian, kita boleh menggunakan kaedah file_get_html() untuk memilih elemen di mana data berada Sebagai contoh, find() bermaksud memilih semua tag table > tbody > tr di bawah elemen anak <table> daripada <tbody>, iaitu semua. baris data dalam jadual. Kodnya adalah seperti berikut: <tr>

$url = 'http://example.com/articles';
$html = file_get_html($url);

$rows = array();
foreach ($html->find('table > tbody > tr') as $row) {
  // 解析表格数据
}

Kemudian, kita perlu melintasi setiap baris data, menghuraikan data sel dan menyimpannya ke tatasusunan untuk pemprosesan seterusnya. Secara khusus, kita boleh menggunakan kaedah

untuk memilih elemen anak find('td') setiap elemen baris, dan kemudian mendapatkan kandungan teks atau alamat pautannya. Kodnya adalah seperti berikut: <td>

$url = 'http://example.com/articles';
$html = file_get_html($url);

$rows = array();
foreach ($html->find('table > tbody > tr') as $row) {
  $data = array();
  
  // 获取单元格文本内容或链接地址
  $columns = $row->find('td');
  $data['id'] = $columns[0]->plaintext;
  $data['title'] = $columns[1]->find('a', 0)->plaintext;
  $data['link'] = $columns[1]->find('a', 0)->href;
  $data['author'] = $columns[2]->plaintext;
  $data['date'] = $columns[3]->plaintext;
    
  $rows[] = $data;
}

Dalam kod di atas, tatasusunan

menyimpan data baris semasa, di mana $data, id, title dan author masing-masing sepadan dengan lajur jadual, dan date Ia adalah alamat pautan tajuk artikel. Gunakan penyataan link untuk menambah tatasusunan $rows[] = $data pada tatasusunan $data. $rows

Akhir sekali, kami boleh memproses dan menyimpan data selanjutnya mengikut keperluan kami, seperti menyimpan data ke pangkalan data atau mengeksportnya ke fail Excel.

Ringkasan

Artikel ini memperkenalkan cara menggunakan perpustakaan PHP Simple HTML DOM Parser untuk merangkak data jadual web. Dengan menganalisis struktur dan format data halaman web sasaran dan menggunakan kaedah operasi DOM yang sepadan, kami boleh mencari dan mendapatkan data yang diperlukan dengan cepat, dengan itu merealisasikan pelbagai analisis data dan senario aplikasi. Sudah tentu, teknologi perangkak juga perlu memberi perhatian untuk mematuhi peraturan dan dasar penggunaan tapak web, dan tidak boleh terlalu menggunakan atau melanggar hak orang lain.

Atas ialah kandungan terperinci Amalan perangkak PHP: cara merangkak data jadual web. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!