Bagaimana Mengeluarkan Kandungan Halaman Dengan Cekap Menggunakan cURL dengan Pengendalian Ralat?

DDD
Lepaskan: 2024-10-22 20:34:26
asal
375 orang telah melayarinya

How to Efficiently Extract Page Content Using cURL with Error Handling?

Cara Mengekstrak Kandungan Halaman Menggunakan cURL: Penyelesaian Terperinci

Memahami Isu

Apabila cuba mengikis kandungan HTML halaman web menggunakan cURL, adalah perkara biasa untuk menghadapi ralat ubah hala atau "halaman dialihkan". Ini selalunya boleh dikaitkan dengan aksara yang dikodkan khas dalam rentetan pertanyaan.

Pengoptimuman untuk cURL:

Untuk mendapatkan semula kandungan halaman dengan berkesan tanpa menghadapi isu ini, optimumkan kod cURL anda seperti berikut:

<code class="php">function get_web_page($url) {
    $user_agent='Mozilla/5.0 (Windows NT 6.1; rv:8.0) Gecko/20100101 Firefox/8.0';

    $options = array(
        CURLOPT_CUSTOMREQUEST  => "GET",
        CURLOPT_POST           => false,
        CURLOPT_USERAGENT      => $user_agent,
        CURLOPT_COOKIEFILE     => "cookie.txt", 
        CURLOPT_COOKIEJAR      => "cookie.txt",
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_HEADER         => false,
        CURLOPT_FOLLOWLOCATION => true,
        CURLOPT_ENCODING       => "",
        CURLOPT_AUTOREFERER    => true,
        CURLOPT_CONNECTTIMEOUT => 120,
        CURLOPT_TIMEOUT        => 120,
        CURLOPT_MAXREDIRS      => 10,
    );

    $ch      = curl_init($url);
    curl_setopt_array($ch, $options);
    $content = curl_exec($ch);
    $err     = curl_errno($ch);
    $errmsg  = curl_error($ch);
    $header  = curl_getinfo($ch);
    curl_close($ch);

    $header['errno']   = $err;
    $header['errmsg']  = $errmsg;
    $header['content'] = $content;
    return $header;
}</code>
Salin selepas log masuk

Contoh:

Dapatkan semula dan kendalikan kemungkinan ralat semasa membaca halaman:

<code class="php">$result = get_web_page($url);

if ($result['errno'] != 0)
    // Error handling for invalid URL, timeout, or redirect loops.

if ($result['http_code'] != 200)
    // Error handling for issues like missing page, permission denial, or unavailability.

$page = $result['content'];</code>
Salin selepas log masuk

Atas ialah kandungan terperinci Bagaimana Mengeluarkan Kandungan Halaman Dengan Cekap Menggunakan cURL dengan Pengendalian Ralat?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

sumber:php
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Tutorial Popular
Lagi>
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan