Perangkak web-Pengenalan kepada perangkak Python

Saya akan menjadi pelajar tahun kedua, saya telah belajar Python sendiri, dan saya tahu tatabahasa asas. Saya ingin belajar merangkak, tetapi saya merasakan bahawa ia melibatkan banyak pengetahuan Adakah sesiapa yang pernah mengalaminya dan boleh merumuskan apa yang mereka tahu, atau bagaimana untuk...

欧阳克 2017-07-05 10:34:11 0  3  1168

Bagaimanakah perangkak PHP mengakses ejen perangkak dinamik?

Bagaimanakah perangkak php mengakses ejen perangkak Adakah anda menggunakan python sebelum ini? Adakah kaedah akses yang sama seperti php?

Laical 2020-03-13 17:10:19 0  0  1078

Perangkak web - Alamat IP proksi perangkak requests.get Python tidak berubah

Kerja itu memerlukan maklumat merangkak di Amazon, tetapi anti-crawler Amazon terlalu berkuasa, dan alamat IP yang sama akan disekat. Versi Python: 3.6, IDE: Pycharm 2017.1 Saya menyemak banyak maklumat di Internet dan membaca manual perpustakaan permintaan, tetapi semuanya adalah kaedah yang sama: ...

typecho 2017-06-12 09:24:11 0  1  1187

python - Soalan mengenai imej merangkak?

Perangkak hari ini biasanya menghuraikan imej daripada HTML, tetapi masalahnya ialah beberapa laluan imej ditulis dalam JS. Bagaimana untuk memanjat ini? Saya tahu bahawa anda boleh melihat imej di dalam sumber dengan membuka titik f12 dalam penyemak imbas, tetapi bagaimanakah anda menggunakan peran...

我想大声告诉你 2017-06-28 09:25:40 0  2  1013

redis - Apabila menjalankan perangkak python, versi MySQL ialah 5.7 dan ralat sentiasa dilaporkan

Semasa menjalankan perangkak python, versi MySQL ialah 5.7 dan ralat sentiasa dilaporkan {kod...}. Bagaimana untuk menyelesaikannya?

扔个三星炸死你 2017-06-12 09:19:42 0  2  898

Perangkak web - python meminta masalah perangkak

Apabila saya menggunakan perangkak permintaan, masalah timbul Selepas saya menyerahkan akaun dan kata laluan saya, halaman web tidak akan diserahkan terlebih dahulu, sebaliknya, akan ada tanda anti-leret, dan URL tidak akan berubah. data halaman web akan dihantar ke halaman lain, sila beritahu saya ...

仅有的幸福 2017-05-27 17:39:37 0  1  542

Perangkak web - modul permintaan python3.4.1 melaporkan ralat objek 'senarai' tidak mempunyai atribut 'dapat'

Saya menggunakan Python untuk menulis perangkak yang merangkak alamat IP Memandangkan tapak web itu anti-perangkak, saya menulis ejen dan menggunakan kumpulan benang untuk membuka 10 utas untuk merangkak alamat IP Walau bagaimanapun, objek 'senarai' tidak mempunyai atribut '. get' telah dilaporkan s...

世界只因有你 2017-06-12 09:24:16 0  3  3478

node.js - perangkak nod, bagaimana untuk menggunakan kolam IP untuk mengelakkan anti-merangkak?

Masalahnya ialah ini saya seorang pemula yang baru mula belajar nod. Kemudian saya sedang membaca novel baru-baru ini, tetapi terdapat terlalu banyak iklan di laman web novel percuma tersebut, jadi saya bercadang untuk menulis perangkak untuk merangkak keseluruhan novel Namun, bilangan permintaan ur...

为情所困 2017-06-05 11:13:33 0  1  1203

python - semakan perangkak csdn

https://github.com/xchaoinfo/fuck-login/blob/master/015%20CSDN/csdn.py Menurut komen pada baris 87-88, mengapakah ia perlu ditukar kepada pautan ini apabila menggunakan perangkak untuk komen pada artikel csdn Ini Bagaimana anda mendapat pautan saya melihat kod halaman web dan tiada pautan yang berka...

仅有的幸福 2017-05-18 10:53:42 0  2  841

selenium - Tanya tentang alat perangkak Python

1) Apa yang saya ingin tangkap ialah peminat bintang tertentu di Instagram 2) Tapak PC Instagram menggunakan banyak rendering js 3) Saya tidak pernah menulis perangkak, dan bos akan memerlukan data itu esok saya sedang menggunakan BeautifulSoup , selenium dan phantomjs mungkin ialah { Kod...} Soalan...

阿神 2017-06-28 09:22:20 0  1  975

Perangkak web - perangkak node.js Fungsi panggilan luaran tidak boleh mendapatkan nilai berubah

Baru-baru ini saya ingin menulis perangkak untuk membaca beberapa novel, tetapi saya menghadapi beberapa kesukaran console.log(catalogUrl) boleh mencetak URL yang diperlukan, tetapi apa yang saya harapkan ialah saya boleh mendapatkan katalogUrl dengan memanggil fungsi var xxx = getCatalogUrl. (buku)...

習慣沉默 2017-05-16 13:25:17 0  2  513

html - "Pencarian DNS gagal" muncul semasa merangkak, tetapi tiada masalah semasa membuka halaman web. Apa yang berlaku?

RT, apabila menggunakan ular sawa untuk merangkak, semuanya normal pada mulanya. Tiba-tiba laman web tersekat Setelah menunggu beberapa lama, ia kembali seperti biasa, tetapi apabila merangkak lagi pada masa ini, ia akan melaporkan "pencarian DNS gagal". . Saya mencuba banyak tapak web, te...

PHP中文网 2017-06-14 10:50:53 0  1  1194

python - Masalah yang dihadapi dalam merangkak senarai artikel latar belakang csdn selepas perangkak mensimulasikan log masuk

Perangkak memang telah log masuk, kerana saya boleh merangkak maklumat peribadi dan boleh menangkapnya, tetapi URL dalam gambar di bawah tidak boleh ditangkap: URLnya ialah: http://write.blog.csdn.net/postlist, iaitu anda csdn Belakang pentas. Biar saya siarkan kod {kod...} kod di atas mengeluarkan....

ringa_lee 2017-05-18 10:51:59 0  2  1055

python - Bagaimana menggunakan perangkak untuk merangkak imej dari halaman web secara berkelompok?

Seperti yang ditunjukkan dalam gambar, adalah menyusahkan untuk melihat dan memuatkan gambar melalui rangkaian dan klik kanan untuk menyimpannya satu demi satu. Adakah terdapat sebarang cara untuk menulis perangkak untuk mengambil gambar secara berkumpulan di sini?

给我你的怀抱 2017-06-28 09:25:48 0  3  1162

python - Aplikasi meragui kod sumber perangkak Alibaba

1. Masalah semasa: Tiada apa yang berlaku apabila saya menjalankan fail py. Apakah masalahnya? 2. Saya seorang pemula yang lengkap, saya tidak pernah didedahkan kepada py, dan saya hanya mempelajari asas html+css. Tetapi kerana projek syarikat itu perlu mengumpul maklumat pembekal serantau, saya mem...

阿神 2017-06-22 11:51:27 0  1  1865

java - Masalah dengan imej merangkak?

Saya baru mengubahsuai POM Anda boleh memuat turun semula kod sumber Ini adalah alamat projek crawler yang saya tulis selalunya tidak lengkap, seperti berikut: Ini adalah kod teras untuk memuat turun imej Seperti berikut: {kod...} Selepas pertanyaan data, saya rasa skopnya adalah...

天蓬老师 2017-06-23 09:12:30 0  1  828

python - Semasa menulis crawler, tiada token csrf dalam kod sumber Bagaimana untuk mendapatkannya?

Semasa menulis perangkak untuk merangkak AliExpress, saya melihat token csrf dalam POST NTEWROK, tetapi bagaimanakah saya boleh mendapatkan nilai csrf apabila melihat kod sumber halaman? Terima kasih.

漂亮男人 2017-05-24 11:35:05 0  2  776

Python - Menyimpan kandungan perangkak ke dalam fail teks Isu pengekodan

Uji perangkak yang sangat mudah yang menyimpan kandungan teks halaman web yang sangat minimalis ke komputer setempat anda. Akhirnya ralat berlaku: {code...} Kod adalah seperti berikut: {code...}

欧阳克 2017-06-12 09:26:21 0  1  833

Bagaimana untuk menggunakan perangkak PHP untuk mengumpul Amazon?

Memandangkan peningkatan terakhir tapak web Amazon menyebabkan perangkak menutup telefon, dasar anti-poket Amazon kini lebih ketat. Akibatnya, kutipan biasa tidak dapat dilakukan. Adakah terdapat strategi pemerolehan baharu?

Laical 2020-03-26 17:20:49 0  0  1180

Pakar perangkak ular sawa yang dihormati, lihat dan lihat cara menangani anti-merangkak di tapak web ini.

https://www.everysaving.co.uk merangkak data tapak web ini melalui python, tetapi data itu tidak boleh dikembalikan! Saya menambah pengepala dan IP proksi untuk merangkak, tetapi saya harap anda semua boleh mencubanya. . .

曾经蜡笔没有小新 2017-05-18 11:01:00 0  4  749