Perangkak web-Pengenalan kepada perangkak Python

Saya akan menjadi pelajar tahun kedua, saya telah belajar Python sendiri, dan saya tahu tatabahasa asas. Saya ingin belajar merangkak, tetapi saya merasakan bahawa ia melibatkan banyak pengetahuan Adakah sesiapa yang pernah mengalaminya dan boleh merumuskan apa yang mereka tahu, atau bagaimana untuk...

欧阳克 2017-07-05 10:34:11 0  3  1190

Perangkak web - python meminta masalah perangkak

Apabila saya menggunakan perangkak permintaan, masalah timbul Selepas saya menyerahkan akaun dan kata laluan saya, halaman web tidak akan diserahkan terlebih dahulu, sebaliknya, akan ada tanda anti-leret, dan URL tidak akan berubah. data halaman web akan dihantar ke halaman lain, sila beritahu saya ...

仅有的幸福 2017-05-27 17:39:37 0  1  562

python - Soalan mengenai imej merangkak?

Perangkak hari ini biasanya menghuraikan imej daripada HTML, tetapi masalahnya ialah beberapa laluan imej ditulis dalam JS. Bagaimana untuk memanjat ini? Saya tahu bahawa anda boleh melihat imej di dalam sumber dengan membuka titik f12 dalam penyemak imbas, tetapi bagaimanakah anda menggunakan peran...

我想大声告诉你 2017-06-28 09:25:40 0  2  1035

Perangkak web - modul permintaan python3.4.1 melaporkan ralat objek 'senarai' tidak mempunyai atribut 'dapat'

Saya menggunakan Python untuk menulis perangkak yang merangkak alamat IP Memandangkan tapak web itu anti-perangkak, saya menulis ejen dan menggunakan kumpulan benang untuk membuka 10 utas untuk merangkak alamat IP Walau bagaimanapun, objek 'senarai' tidak mempunyai atribut '. get' telah dilaporkan s...

世界只因有你 2017-06-12 09:24:16 0  3  3494

Perangkak web - Alamat IP proksi perangkak requests.get Python tidak berubah

Kerja itu memerlukan maklumat merangkak di Amazon, tetapi anti-crawler Amazon terlalu berkuasa, dan alamat IP yang sama akan disekat. Versi Python: 3.6, IDE: Pycharm 2017.1 Saya menyemak banyak maklumat di Internet dan membaca manual perpustakaan permintaan, tetapi semuanya adalah kaedah yang sama: ...

typecho 2017-06-12 09:24:11 0  1  1200

Perangkak web - perangkak node.js Fungsi panggilan luaran tidak boleh mendapatkan nilai berubah

Baru-baru ini saya ingin menulis perangkak untuk membaca beberapa novel, tetapi saya menghadapi beberapa kesukaran console.log(catalogUrl) boleh mencetak URL yang diperlukan, tetapi apa yang saya harapkan ialah saya boleh mendapatkan katalogUrl dengan memanggil fungsi var xxx = getCatalogUrl. (buku)...

習慣沉默 2017-05-16 13:25:17 0  2  534

Bagaimanakah perangkak PHP mengakses ejen perangkak dinamik?

Bagaimanakah perangkak php mengakses ejen perangkak Adakah anda menggunakan python sebelum ini? Adakah kaedah akses yang sama seperti php?

Laical 2020-03-13 17:10:19 0  0  1103

node.js - perangkak nod, bagaimana untuk menggunakan kolam IP untuk mengelakkan anti-merangkak?

Masalahnya ialah ini saya seorang pemula yang baru mula belajar nod. Kemudian saya sedang membaca novel baru-baru ini, tetapi terdapat terlalu banyak iklan di laman web novel percuma tersebut, jadi saya bercadang untuk menulis perangkak untuk merangkak keseluruhan novel Namun, bilangan permintaan ur...

为情所困 2017-06-05 11:13:33 0  1  1228

html - "Pencarian DNS gagal" muncul semasa merangkak, tetapi tiada masalah semasa membuka halaman web. Apa yang berlaku?

RT, apabila menggunakan ular sawa untuk merangkak, semuanya normal pada mulanya. Tiba-tiba laman web tersekat Setelah menunggu beberapa lama, ia kembali seperti biasa, tetapi apabila merangkak lagi pada masa ini, ia akan melaporkan "pencarian DNS gagal". . Saya mencuba banyak tapak web, te...

PHP中文网 2017-06-14 10:50:53 0  1  1220

python - Bagaimana untuk menyemak jenis anti-crawler yang digunakan pada URL

URL: https://www.nvshens.com/g/22377/ Buka laman web terus dengan pelayar dan klik kanan imej untuk memuat turunnya telah menambah pengepala dan menyediakan proksi IP, tetapi ia masih tidak berfungsi. Tetapi jika anda melihat tangkapan paket, ia nampaknya tidak bergerak...

ringa_lee 2017-06-12 09:27:51 0  4  1270

python - semakan perangkak csdn

https://github.com/xchaoinfo/fuck-login/blob/master/015%20CSDN/csdn.py Menurut komen pada baris 87-88, mengapakah ia perlu ditukar kepada pautan ini apabila menggunakan perangkak untuk komen pada artikel csdn Ini Bagaimana anda mendapat pautan saya melihat kod halaman web dan tiada pautan yang berka...

仅有的幸福 2017-05-18 10:53:42 0  2  859

Perangkak web - Perangkak Java telah memperoleh pautan imej tetapi tidak boleh memuat turun imej

Kod src sumber imej yang sepadan yang diperolehi oleh perangkak dalam HTML adalah seperti berikut Tetapi apabila sumber itu ditukar kepada pautan melalui kod untuk memuat turun imej, ralat 400 dilaporkan, saya menggunakan krom untuk menguji sama ada pautan wujud. Didapati bahawa pelayan laman web pi...

黄舟 2017-05-17 10:01:58 0  2  584

Bagaimana untuk menggunakan perangkak PHP untuk mengumpul Amazon?

Memandangkan peningkatan terakhir tapak web Amazon menyebabkan perangkak menutup telefon, dasar anti-poket Amazon kini lebih ketat. Akibatnya, kutipan biasa tidak dapat dilakukan. Adakah terdapat strategi pemerolehan baharu?

Laical 2020-03-26 17:20:49 0  0  1212

Perangkak web - python merangkak tapak web dan menghuraikan kandungan bukan json

Saya baru belajar bagaimana untuk mendapatkan kandungan json, tetapi tapak web yang saya crawl hari ini tidak mengembalikan kandungan json, dan nombor rawak dijana selepas setiap permintaan untuk pautan. Saya tidak tahu sama ada ia akan menjejaskan kandungan yang saya ingin crawl. Kandungan yang per...

学习ing 2017-06-28 09:26:28 0  2  1110

python - Masalah yang dihadapi dalam merangkak senarai artikel latar belakang csdn selepas perangkak mensimulasikan log masuk

Perangkak memang telah log masuk, kerana saya boleh merangkak maklumat peribadi dan boleh menangkapnya, tetapi URL dalam gambar di bawah tidak boleh ditangkap: URLnya ialah: http://write.blog.csdn.net/postlist, iaitu anda csdn Belakang pentas. Biar saya siarkan kod {kod...} kod di atas mengeluarkan....

ringa_lee 2017-05-18 10:51:59 0  2  1069

Python merangkak halaman web dengan permintaan yang bercelaru

**Saya merangkak data daripada dokumen pengadil sebelum ini Selepas menjalankan semula perangkak dalam tempoh ini, saya mendapati bahawa data halaman web tidak dapat diperolehi. * (Sebahagian daripada data yang dikembalikan dipintas seperti berikut: <meta http -equiv="Content-Type" ...

phpcn_u1582 2017-06-22 11:51:56 0  4  1241

python爬虫 - scrapy使用redis的时候，redis需要进行一些设置吗？

用scrapy+redis+mongodb写了个爬虫，运行时不能爬取所有符合规则的网址，猜想是不是redis需要进行设置之类的，求高手解答。

巴扎黑 2017-04-24 09:12:00 0  1  490

python - Bagaimana menggunakan perangkak untuk merangkak imej dari halaman web secara berkelompok?

Seperti yang ditunjukkan dalam gambar, adalah menyusahkan untuk melihat dan memuatkan gambar melalui rangkaian dan klik kanan untuk menyimpannya satu demi satu. Adakah terdapat sebarang cara untuk menulis perangkak untuk mengambil gambar secara berkumpulan di sini?

给我你的怀抱 2017-06-28 09:25:48 0  3  1182

如何把nutch爬取的网页内容存写到MongoDB?

最近在做一个网络爬虫，想把nutch获取的爬取内容写到MongoDB,网上找了很多，仍然不清，我是使用nutch-1.10, 我找到的内容有提到nutch2.x 才支持mongoDB的配置！请问如何把nutch爬取的网页内容存写到MongoDB?谢谢！

習慣沉默 2017-04-28 09:06:15 0  0  561

python - Gambar yang dipaparkan di laman web adalah berbeza daripada gambar yang diperolehi oleh crawler Bagaimana untuk menentukan masalah?

Kerana saya hanya boleh menontonnya dalam talian, saya ingin menggunakannya sebagai amalan http://smp.yoedge.com/smp-app... Sumber gambar yang saya dapati bermula dari halaman 6 mempunyai kawasan yang tidak dapat diterangkan yang rosak http ://smp.yoedge.com/smp-app... ://smp3.yoedge.com/smp-ap... A...

PHPz 2017-05-18 10:56:43 0  1  1108