python - masalah merangkak berjadual pyspider

Semasa menulis perangkak, saya mendapati bahawa selepas menetapkan setiap dalam kod, selepas merangkak sekali pada 21hb, saya melihat bahawa hasilnya tidak dikemas kini hari ini dan masa merangkak terakhir masih pada 21hb. Adakah tetapan parameter saya salah?

我想大声告诉你 2017-05-18 10:53:29 0  2  990

python - scrapy merangkak lebih banyak halaman daripada memasukkan item?

{Kod...} Mengapa saya melawati lebih banyak halaman daripada memasukkan item apabila saya menggunakan scrapy untuk merangkak Adakah terdapat sebarang cara untuk menyelesaikan masalah yang selepas merangkak untuk masa yang lama, hanya terdapat beberapa keping data dalam item? ?

PHP中文网 2017-05-18 10:47:40 0  1  697

javascript - Mengapa saya tidak boleh merangkak halaman jika saya menggunakan phantomjs untuk merangkak jika terdapat banyak data pada halaman?

Saya mahu merangkak halaman carian Taobao Ia adalah halaman yang dijana oleh js rendering, jadi saya memilih untuk merangkak dengan phantomjs. Tetapi masalah berlaku semasa proses pengambilan. Apabila terdapat lebih daripada dua hasil carian, tiada data boleh diperolehi. Tetapi tangkapan skrin menun...

習慣沉默 2017-07-05 10:50:52 0  1  927

Bagaimana untuk merangkak kod yang diproses js dalam java

Alamat halaman: http://acm.hdu.edu.cn/showpro... Matlamat merangkak: Jika anda ingin merangkak kod formula ini, kod yang anda lihat apabila menekan F12 pada Chrome: Tetapi kod yang dirangkak adalah seperti berikut: Kod ini tidak memaparkan formula yang betul Nampaknya semua kod ini dihasilkan oleh j...

为情所困 2017-05-17 10:04:18 0  2  669

python - Bilangan pengikut Douyu ditunjukkan sebagai gambar pemuatan Bagaimana untuk merangkak bilangan pengikut?

Merangkak bilangan pengikut Douyu dan memaparkan {kod...} dan memaparkan {kod...} selepas tapak web dimuatkan Bagaimana kita harus merangkak data jenis ini?

巴扎黑 2017-07-05 10:34:08 0  1  1017

Bagaimana untuk mengelakkan ddos ​​berniat jahat merangkak pada nginx

Pertama sekali, saya tidak mempunyai bantahan untuk orang lain merangkak kandungan laman web saya. Saya tidak semestinya mengehadkan perayapan orang lain dengan ketat Walau bagaimanapun, beberapa orang merangkak tidak mempunyai garis bawah sama sekali laman web tertentu secara serentak Kandungan pel...

黄舟 2017-05-16 17:30:17 0  4  1110

Curl merangkak halaman web untuk data

Jika pautan url ialah https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_4480296238548479181%22%7D&n_type=0&p_from=1, bagaimana untuk merangkak maklumat halaman web?

phpcn_u68041 2017-12-07 10:08:47 0  5  1230

Bagaimanakah kod sumber PHP merangkak data dengan menyesuaikan antara muka untuk mendapatkan IP proksi?

Bagaimanakah kod sumber PHP merangkak data dengan menyesuaikan antara muka untuk mendapatkan IP proksi? Bagaimanakah kod sumber PHP merangkak data dengan menyesuaikan antara muka untuk mendapatkan IP proksi?

chen 2022-11-04 23:36:05 0  0  595

python - Soalan mengenai imej merangkak?

Perangkak hari ini biasanya menghuraikan imej daripada HTML, tetapi masalahnya ialah beberapa laluan imej ditulis dalam JS. Bagaimana untuk memanjat ini? Saya tahu bahawa anda boleh melihat imej di dalam sumber dengan membuka titik f12 dalam penyemak imbas, tetapi bagaimanakah anda menggunakan peran...

我想大声告诉你 2017-06-28 09:25:40 0  2  1065

php merangkak data halaman web

Saya mempunyai beberapa keperluan seperti merangkak halaman web pedagang bawa pulang Baidu https://wmpass.baidu.com/ucen..., tetapi halaman web ini ditulis menggunakan rangka kerja bahagian hadapan modular Apabila melihat kod sumber, saya hanya boleh melihat beberapa Kod sumber sebelum rendering, se...

PHP中文网 2017-05-24 11:34:27 0  1  900

Fail merangkak berbilang benang Python, cara menetapkan tamat masa untuk menyambung semula.

Apabila menggunakan python untuk merangkak data, dayakan merangkak berbilang benang dalam satu proses Lagipun, saya tidak mempunyai berbilang proses kerana IO yang intensif. Kodnya adalah seperti berikut {kod...} Walau bagaimanapun, selagi permintaan benang tidak mengembalikan nilai, utas akan terus...

黄舟 2017-05-18 11:02:31 0  1  861

node.js - perangkak nod, bagaimana untuk menggunakan kolam IP untuk mengelakkan anti-merangkak?

Masalahnya ialah ini saya seorang pemula yang baru mula belajar nod. Kemudian saya sedang membaca novel baru-baru ini, tetapi terdapat terlalu banyak iklan di laman web novel percuma tersebut, jadi saya bercadang untuk menulis perangkak untuk merangkak keseluruhan novel Namun, bilangan permintaan ur...

为情所困 2017-06-05 11:13:33 0  1  1261

Pakar perangkak ular sawa yang dihormati, lihat dan lihat cara menangani anti-merangkak di tapak web ini.

https://www.everysaving.co.uk merangkak data tapak web ini melalui python, tetapi data itu tidak boleh dikembalikan! Saya menambah pengepala dan IP proksi untuk merangkak, tetapi saya harap anda semua boleh mencubanya. . .

曾经蜡笔没有小新 2017-05-18 11:01:00 0  4  792

javascript - nod merangkak Weibo

Saya baru mengenali nod dan ingin menulis perangkak untuk merangkak ulasan Sina Weibo, tetapi saya mendapati halaman itu dijana secara dinamik oleh JS dan tidak boleh dirangkak menggunakan modul http, jadi saya menggunakan phantomjs untuk merangkaknya (saya dengar ia akan menjadi lebih perlahan, dan...

仅有的幸福 2017-06-30 10:00:08 0  1  1019

javascript - Masalah ubah hala apabila superagent merangkak tapak web

Saya menggunakan superagent untuk merangkak halaman web dan menemui ubah hala melompat ke halaman 37018, menyebabkan saya mendapat res Kosong ke halaman 501. Saya menguji halaman web yang tidak boleh dirangkak dan menemui dua situasi...

迷茫 2017-05-31 10:38:19 0  1  873

Elemen HTML tidak boleh ditemui semasa merangkak web. Elemen ini boleh dilihat dalam alat pemeriksaan tapak

Saya cuba merangkak tajuk semua jadual dari URL ini: https://www.nature.com/articles/s41586-023-06192-4 Saya boleh mencari elemen HTML ini di tapak web: <bid="Tab1" data- test="table-caption">Table1CalculatedCt–M–Ctangles</b>Saya tidak boleh merangkak tajuk ini

P粉225961749 2023-09-19 12:41:46 0  1  614

python - Gunakan rangka kerja buruk untuk merangkak gambar Baidu dan disekat

Url alamat permintaan ialah alamat json yang diperoleh melalui firefox Ia boleh dibuka dengan penyemak imbas, tetapi ia dilarang apabila merangkak dengan scrapy. https://image.baidu.com/searc...

给我你的怀抱 2017-05-24 11:34:48 0  3  683

node.js - Soalan tentang novel merangkak Node crawler

{code...} Berikut ialah kod yang saya minta saya merangkak keluar senarai bab tertentu dalam js lain dan menulisnya dalam json Di sini saya terus meminta setiap pautan: {code...} Sama seperti ini, selepas mendaki sekejap sahaja berhenti begini, seakan-akan terhempas walau berapa lama saya menunggu, ...

巴扎黑 2017-05-16 13:38:49 0  1  635

Python merangkak halaman web dengan permintaan yang bercelaru

**Saya merangkak data daripada dokumen pengadil sebelum ini Selepas menjalankan semula perangkak dalam tempoh ini, saya mendapati bahawa data halaman web tidak dapat diperolehi. * (Sebahagian daripada data yang dikembalikan dipintas seperti berikut: &lt;meta http -equiv="Content-Type" ...

phpcn_u1582 2017-06-22 11:51:56 0  4  1274

laravel - Merangkak menggunakan perisian Guzzle, bagaimana untuk log masuk?

Pengarang menggunakan Guzzle dalam rangka kerja laravel untuk merangkak data pada halaman utama saya, tetapi halaman yang diperolehi adalah halaman log masuk saya telah mencuba cara penulisan ini, tetapi ia tidak berfungsi {kod...} Saya harap seseorang boleh memberitahu saya?

学习ing 2017-06-13 09:24:34 0  1  838