python - Soalan mengenai imej merangkak?

Perangkak hari ini biasanya menghuraikan imej daripada HTML, tetapi masalahnya ialah beberapa laluan imej ditulis dalam JS. Bagaimana untuk memanjat ini? Saya tahu bahawa anda boleh melihat imej di dalam sumber dengan membuka titik f12 dalam penyemak imbas, tetapi bagaimanakah anda menggunakan peran...

我想大声告诉你 2017-06-28 09:25:40 0  2  1017

Perangkak web-Pengenalan kepada perangkak Python

Saya akan menjadi pelajar tahun kedua, saya telah belajar Python sendiri, dan saya tahu tatabahasa asas. Saya ingin belajar merangkak, tetapi saya merasakan bahawa ia melibatkan banyak pengetahuan Adakah sesiapa yang pernah mengalaminya dan boleh merumuskan apa yang mereka tahu, atau bagaimana untuk...

欧阳克 2017-07-05 10:34:11 0  3  1170

Bagaimanakah perangkak PHP mengakses ejen perangkak dinamik?

Bagaimanakah perangkak php mengakses ejen perangkak Adakah anda menggunakan python sebelum ini? Adakah kaedah akses yang sama seperti php?

Laical 2020-03-13 17:10:19 0  0  1081

node.js - perangkak nod, bagaimana untuk menggunakan kolam IP untuk mengelakkan anti-merangkak?

Masalahnya ialah ini saya seorang pemula yang baru mula belajar nod. Kemudian saya sedang membaca novel baru-baru ini, tetapi terdapat terlalu banyak iklan di laman web novel percuma tersebut, jadi saya bercadang untuk menulis perangkak untuk merangkak keseluruhan novel Namun, bilangan permintaan ur...

为情所困 2017-06-05 11:13:33 0  1  1209

Perangkak web - modul permintaan python3.4.1 melaporkan ralat objek 'senarai' tidak mempunyai atribut 'dapat'

Saya menggunakan Python untuk menulis perangkak yang merangkak alamat IP Memandangkan tapak web itu anti-perangkak, saya menulis ejen dan menggunakan kumpulan benang untuk membuka 10 utas untuk merangkak alamat IP Walau bagaimanapun, objek 'senarai' tidak mempunyai atribut '. get' telah dilaporkan s...

世界只因有你 2017-06-12 09:24:16 0  3  3482

html - "Pencarian DNS gagal" muncul semasa merangkak, tetapi tiada masalah semasa membuka halaman web. Apa yang berlaku?

RT, apabila menggunakan ular sawa untuk merangkak, semuanya normal pada mulanya. Tiba-tiba laman web tersekat Setelah menunggu beberapa lama, ia kembali seperti biasa, tetapi apabila merangkak lagi pada masa ini, ia akan melaporkan "pencarian DNS gagal". . Saya mencuba banyak tapak web, te...

PHP中文网 2017-06-14 10:50:53 0  1  1196

Perangkak web - python meminta masalah perangkak

Apabila saya menggunakan perangkak permintaan, masalah timbul Selepas saya menyerahkan akaun dan kata laluan saya, halaman web tidak akan diserahkan terlebih dahulu, sebaliknya, akan ada tanda anti-leret, dan URL tidak akan berubah. data halaman web akan dihantar ke halaman lain, sila beritahu saya ...

仅有的幸福 2017-05-27 17:39:37 0  1  545

Perangkak web - Alamat IP proksi perangkak requests.get Python tidak berubah

Kerja itu memerlukan maklumat merangkak di Amazon, tetapi anti-crawler Amazon terlalu berkuasa, dan alamat IP yang sama akan disekat. Versi Python: 3.6, IDE: Pycharm 2017.1 Saya menyemak banyak maklumat di Internet dan membaca manual perpustakaan permintaan, tetapi semuanya adalah kaedah yang sama: ...

typecho 2017-06-12 09:24:11 0  1  1191

Perangkak web - perangkak node.js Fungsi panggilan luaran tidak boleh mendapatkan nilai berubah

Baru-baru ini saya ingin menulis perangkak untuk membaca beberapa novel, tetapi saya menghadapi beberapa kesukaran console.log(catalogUrl) boleh mencetak URL yang diperlukan, tetapi apa yang saya harapkan ialah saya boleh mendapatkan katalogUrl dengan memanggil fungsi var xxx = getCatalogUrl. (buku)...

習慣沉默 2017-05-16 13:25:17 0  2  515

python - semakan perangkak csdn

https://github.com/xchaoinfo/fuck-login/blob/master/015%20CSDN/csdn.py Menurut komen pada baris 87-88, mengapakah ia perlu ditukar kepada pautan ini apabila menggunakan perangkak untuk komen pada artikel csdn Ini Bagaimana anda mendapat pautan saya melihat kod halaman web dan tiada pautan yang berka...

仅有的幸福 2017-05-18 10:53:42 0  2  841

centos - 爬虫执行了一次就不执行了，什么原因？

在centos中crontab了一个时间点，作为爬虫启动时间。第一天成功爬取了数据，第二天就不行了。我查看cron日志，发现定时器成功启动了。但是我发现程序的地方出现： 不知道是不是交换内存的原因？无法启动wiley_spi...

仅有的幸福 2017-04-26 09:00:55 0  1  594

Perangkak web - Perangkak Java telah memperoleh pautan imej tetapi tidak boleh memuat turun imej

Kod src sumber imej yang sepadan yang diperolehi oleh perangkak dalam HTML adalah seperti berikut Tetapi apabila sumber itu ditukar kepada pautan melalui kod untuk memuat turun imej, ralat 400 dilaporkan, saya menggunakan krom untuk menguji sama ada pautan wujud. Didapati bahawa pelayan laman web pi...

黄舟 2017-05-17 10:01:58 0  2  566

java - Masalah dengan imej merangkak?

Saya baru mengubahsuai POM Anda boleh memuat turun semula kod sumber Ini adalah alamat projek crawler yang saya tulis selalunya tidak lengkap, seperti berikut: Ini adalah kod teras untuk memuat turun imej Seperti berikut: {kod...} Selepas pertanyaan data, saya rasa skopnya adalah...

天蓬老师 2017-06-23 09:12:30 0  1  831

selenium - Tanya tentang alat perangkak Python

1) Apa yang saya ingin tangkap ialah peminat bintang tertentu di Instagram 2) Tapak PC Instagram menggunakan banyak rendering js 3) Saya tidak pernah menulis perangkak, dan bos akan memerlukan data itu esok saya sedang menggunakan BeautifulSoup , selenium dan phantomjs mungkin ialah { Kod...} Soalan...

阿神 2017-06-28 09:22:20 0  1  978

redis - Apabila menjalankan perangkak python, versi MySQL ialah 5.7 dan ralat sentiasa dilaporkan

Semasa menjalankan perangkak python, versi MySQL ialah 5.7 dan ralat sentiasa dilaporkan {kod...}. Bagaimana untuk menyelesaikannya?

扔个三星炸死你 2017-06-12 09:19:42 0  2  902

Bagaimana untuk menggunakan perangkak PHP untuk mengumpul Amazon?

Memandangkan peningkatan terakhir tapak web Amazon menyebabkan perangkak menutup telefon, dasar anti-poket Amazon kini lebih ketat. Akibatnya, kutipan biasa tidak dapat dilakukan. Adakah terdapat strategi pemerolehan baharu?

Laical 2020-03-26 17:20:49 0  0  1184

angular.js - 百度爬虫如何处理“#”符号？

由于采用angular，整站都是ajax方式加载，这样非常不利于SEO。针对百度的angular的SEO成了问题。现在想问一下 百度的爬虫，如何处理URL中的#符号

高洛峰 2017-05-15 16:54:39 0  2  585

python爬虫 - scrapy使用redis的时候，redis需要进行一些设置吗？

用scrapy+redis+mongodb写了个爬虫，运行时不能爬取所有符合规则的网址，猜想是不是redis需要进行设置之类的，求高手解答。

巴扎黑 2017-04-24 09:12:00 0  1  466

python - Masalah yang dihadapi dalam merangkak senarai artikel latar belakang csdn selepas perangkak mensimulasikan log masuk

Perangkak memang telah log masuk, kerana saya boleh merangkak maklumat peribadi dan boleh menangkapnya, tetapi URL dalam gambar di bawah tidak boleh ditangkap: URLnya ialah: http://write.blog.csdn.net/postlist, iaitu anda csdn Belakang pentas. Biar saya siarkan kod {kod...} kod di atas mengeluarkan....

ringa_lee 2017-05-18 10:51:59 0  2  1056

python - Bagaimana untuk menyemak jenis anti-crawler yang digunakan pada URL

URL: https://www.nvshens.com/g/22377/ Buka laman web terus dengan pelayar dan klik kanan imej untuk memuat turunnya telah menambah pengepala dan menyediakan proksi IP, tetapi ia masih tidak berfungsi. Tetapi jika anda melihat tangkapan paket, ia nampaknya tidak bergerak...

ringa_lee 2017-06-12 09:27:51 0  4  1256