Perangkak web PHP menggunakan fsockopen untuk melaksanakan permintaan HTTP

Perangkak web ialah alat pengumpulan data automatik yang boleh menangkap data secara automatik pada rangkaian dengan mensimulasikan gelagat pengguna dan menyimpan atau menganalisisnya. Sebagai bahasa pembangunan web yang digunakan secara meluas, PHP juga mempunyai banyak alat dan teknologi pembangunan perangkak web.

Artikel ini akan memperkenalkan cara menggunakan fungsi fsockopen PHP untuk melaksanakan permintaan HTTP, dengan itu membina sistem perangkak web yang ringkas. Fungsi fsockopen ialah fungsi PHP yang berkaitan dengan komunikasi Soket dan boleh digunakan untuk mewujudkan sambungan rangkaian berdasarkan protokol TCP/IP. Apabila menggunakan fsockopen untuk membuat permintaan HTTP, anda perlu mengikut spesifikasi protokol HTTP dan menghantar maklumat pengepala permintaan yang betul dan meminta data badan untuk mendapatkan kandungan respons halaman sasaran. Di bawah ini kami akan menunjukkan proses ini langkah demi langkah.

Mewujudkan sambungan rangkaian

Apabila menggunakan fungsi fsockopen untuk mewujudkan sambungan rangkaian, anda perlu menentukan nama hos dan nombor port pelayan sasaran, dan anda boleh memilih untuk menggunakan HTTP atau protokol HTTPS. Berikut ialah contoh sambungan rangkaian mudah:

$hostname = 'example.com';   // 目标服务器主机名
$port = 80;                  // 目标服务器端口号
$protocol = 'tcp';           // 使用 TCP/IP 协议

$handle = fsockopen($protocol . '://' . $hostname, $port, $errno, $errstr);
if (!$handle) {
    echo '网络连接错误';
}

Dalam contoh ini, kami menentukan nama hos pelayan sasaran example.com, menggunakan protokol TCP/IP dan nombor port ialah 80. Jika sambungan berjaya, pemegang soket $handle akan dikembalikan jika tidak, mesej ralat sambungan rangkaian akan dikeluarkan.

Hantar permintaan HTTP

Selepas mewujudkan sambungan rangkaian, kami perlu menghantar maklumat pengepala permintaan HTTP yang betul dan meminta data badan mengikut protokol HTTP. Secara khusus, kita perlu mentakrifkan kaedah permintaan, laluan permintaan, maklumat pengepala permintaan dan data badan permintaan, dan sambungkannya ke dalam rentetan yang mematuhi protokol HTTP mengikut spesifikasi. Berikut ialah contoh menghantar permintaan HTTP GET:

$path = '/';           // 请求路径
$method = 'GET';       // 请求方法

// 组装请求头信息
$headers = array(
    'Host: ' . $hostname,
    'Connection: close',
    'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
);

// 组装请求体数据
$body = '';

// 拼接 HTTP 请求
$request = $method . ' ' . $path . " HTTP/1.1
";
$request .= implode("
", $headers) . "
";
$request .= "
";
$request .= $body;

// 发送请求
fwrite($handle, $request);

Dalam contoh ini, kami mentakrifkan laluan permintaan sebagai direktori akar / dan kaedah permintaan sebagai GET. Kemudian, kami mentakrifkan maklumat pengepala permintaan, yang termasuk Hos, Sambungan dan Ejen Pengguna. Untuk kemudahan, kami menggunakan Ejen Pengguna yang mudah di sini Dalam pembangunan sebenar, anda mungkin perlu menggunakan UA yang lebih rawak dan kompleks untuk mengelakkan daripada disekat oleh pelayan. Seterusnya, kami menentukan data badan permintaan kosong. Akhir sekali, kami menggabungkan permintaan HTTP dan menghantarnya ke pelayan sasaran melalui fungsi fwrite.

Terima respons HTTP

Apabila pelayan sasaran menerima permintaan HTTP, ia akan mengembalikan respons HTTP. Respons ini termasuk maklumat pengepala respons dan data badan respons. Kita perlu menggunakan fungsi fread PHP untuk membaca kandungan tindak balas daripada pemegang soket dan menghuraikan pengepala respons dan data badan tindak balas. Berikut ialah contoh:

// 接收响应
$response = '';
while (!feof($handle)) {
    $response .= fgets($handle);
}

// 关闭连接
fclose($handle);

// 解析响应
list($header, $body) = explode("

", $response, 2);
$headers = explode("
", $header);
$status = array_shift($headers);
list($version, $code, $reason) = explode(' ', $status, 3);

Dalam contoh ini, kami menggunakan gelung untuk membaca kandungan respons baris demi baris dan menyimpannya dalam pembolehubah $response. Kami kemudian menutup sambungan rangkaian ke pelayan sasaran. Seterusnya, kami menggunakan fungsi letupan untuk menghuraikan pengepala respons dan badan tindak balas, dan mendapatkan kod status dan perihalan respons daripada pengepala respons. Dalam pembangunan sebenar, kami juga mungkin perlu menghuraikan maklumat pengepala respons lain, seperti Jenis Kandungan, Set-Kuki, dsb.

Setakat ini, kami telah melaksanakan proses penghantaran permintaan HTTP dan penghuraian respons yang agak mudah. Anda boleh menambah baik dan melaraskan lagi fungsi dan prestasi sistem perangkak web mengikut keperluan anda sendiri, seperti menggunakan pelayan proksi, menambah kelewatan rawak, dsb. Pada masa yang sama, kita juga harus mematuhi norma dan etika perangkak web, tidak menyalahgunakan alat perangkak dan tidak melanggar hak dan kepentingan sah tapak web dan privasi pengguna.

Atas ialah kandungan terperinci Perangkak web PHP menggunakan fsockopen untuk melaksanakan permintaan HTTP. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!