Berkongsi petua tentang cara menangkap data Soal Jawab Zhihu menggunakan PHP dan phpSpider!

Berkongsi petua untuk menangkap data Soal Jawab Zhihu menggunakan PHP dan phpSpider!

Sebagai platform perkongsian pengetahuan terbesar di China, Zhihu mempunyai sejumlah besar data soal jawab Bagi kebanyakan pembangun dan penyelidik, mendapatkan dan menganalisis data ini adalah sangat berharga. Artikel ini akan memperkenalkan cara menggunakan PHP dan phpSpider untuk menangkap data Soal Jawab Zhihu, dan berkongsi beberapa petua dan contoh kod praktikal.

1. Pasang phpSpider

phpSpider ialah rangka kerja perangkak yang ditulis dalam bahasa PHP Ia mempunyai fungsi menangkap dan memproses data yang kuat dan sangat sesuai untuk menangkap data Soal Jawab Zhihu. Berikut ialah langkah pemasangan untuk phpSpider:

1. Pasang Komposer: Mula-mula pastikan anda telah memasang Komposer Anda boleh menyemak sama ada ia dipasang dengan menjalankan arahan berikut:

composer -v

Jika nombor versi Komposer boleh dipaparkan seperti biasa. , ini bermakna pemasangan telah berjaya.

2. Buat direktori projek baharu: Jalankan arahan berikut dalam baris arahan untuk mencipta projek phpSpider baharu:

composer create-project vdb/php-spider my-project

Ini akan mencipta direktori baharu yang dipanggil my-project dan memasang phpSpider di dalamnya.

2. Tulis kod phpSpider

1. Buat tugasan phpSpider baharu: Pergi ke direktori projek saya dan gunakan arahan berikut untuk mencipta tugas phpSpider baharu:

./phpspider --create mytask

Ini akan mencipta tugasan phpSpider baharu dalam direktori projek bernama mytask Direktori baharu yang mengandungi fail yang diperlukan untuk mengikis data.

2. Edit peraturan merangkak: Dalam direktori mytask, buka fail rules.php, iaitu skrip PHP yang digunakan untuk mentakrifkan peraturan merangkak. Anda boleh menentukan dalam skrip ini URL halaman Soal Jawab Zhihu yang anda perlukan untuk merangkak, serta medan data yang ingin anda ekstrak.

Berikut ialah contoh peraturan merangkak yang mudah:

return array(
    'name' => '知乎问答',
    'tasknum' => 1,
    'domains' => array(
        'www.zhihu.com'
    ),
    'start_urls' => array(
        'https://www.zhihu.com/question/XXXXXXXX'
    ),
    'scan_urls' => array(),
    'list_url_regexes' => array(
        "https://www.zhihu.com/question/XXXXXXXX/page/([0-9]+)"
    ),
    'content_url_regexes' => array(
        "https://www.zhihu.com/question/XXXXXXXX/answer/([0-9]+)"
    ),
    'fields' => array(
        array(
            'name' => "question",
            'selector_type' => 'xpath',
            'selector' => "//h1[@class='QuestionHeader-title']/text()"
        ),
        array(
            'name' => "answer",
            'selector_type' => 'xpath',
            'selector' => "//div[@class='RichContent-inner']/text()"
        )
    )
);

Dalam contoh di atas, kami menentukan tugasan merangkak yang dipanggil Zhihu Q&A, yang merangkak semua jawapan kepada soalan tertentu. Ia mengandungi nama medan data, jenis pemilih dan pemilih yang perlu diekstrak.

3. Tulis fungsi panggil balik tersuai: Dalam direktori mytask, buka fail callback.php Ini ialah skrip PHP yang digunakan untuk memproses dan menyimpan data yang ditangkap.

Berikut ialah contoh fungsi panggil balik tersuai yang ringkas:

function handle_content($url, $content)
{
    $data = array();
    $dom = new DOMDocument();
    @$dom->loadHTML($content);
    
    // 使用XPath选择器提取问题标题
    $xpath = new DOMXPath($dom);
    $question = $xpath->query("//h1[@class='QuestionHeader-title']");
    $data['question'] = $question->item(0)->nodeValue;
    
    // 使用XPath选择器提取答案内容
    $answers = $xpath->query("//div[@class='RichContent-inner']");
    foreach ($answers as $answer) {
        $data['answer'][] = $answer->nodeValue;
    }
    
    // 保存数据到文件或数据库
    // ...
}

Dalam contoh di atas, kami menentukan fungsi panggil balik bernama handle_content, yang akan dipanggil selepas data ditangkap. Dalam fungsi ini, kami mengekstrak tajuk soalan dan kandungan jawapan menggunakan pemilih XPath dan menyimpan data dalam tatasusunan $data.

3. Jalankan tugas phpSpider

1. Mulakan tugas phpSpider: Dalam direktori projek saya, gunakan arahan berikut untuk memulakan tugas phpSpider:

./phpspider --daemon mytask

Ini akan memulakan proses phpSpider di latar belakang dan mula merangkak Data soal jawab.

2. Lihat hasil merangkak: Tugas phpSpider akan menyimpan data yang dirangkak dalam direktori data, dengan nama tugasan sebagai nama fail dan setiap tugas merangkak sepadan dengan fail.

Anda boleh melihat hasil rangkak melalui arahan berikut:

tail -f data/mytask/data.log

Ini akan memaparkan log rangkak dan hasil dalam masa nyata.

4. Ringkasan

Artikel ini memperkenalkan teknik menggunakan PHP dan phpSpider untuk menangkap data Soal Jawab Zhihu. Dengan memasang phpSpider, menulis peraturan merangkak dan fungsi panggil balik tersuai, dan menjalankan tugas phpSpider, kami boleh merangkak dan memproses data Soal Jawab Zhihu dengan mudah.

Sudah tentu, phpSpider mempunyai fungsi dan penggunaan yang lebih berkuasa, seperti rangkak serentak, tetapan proksi, tetapan UA, dsb., yang boleh dikonfigurasikan dan digunakan mengikut keperluan sebenar. Saya harap artikel ini akan membantu pembangun yang berminat untuk menangkap data Soal Jawab Zhihu!

Atas ialah kandungan terperinci Berkongsi petua tentang cara menangkap data Soal Jawab Zhihu menggunakan PHP dan phpSpider!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!