分布式爬虫 - scrapy-redis 分布式系统？

现在可以从网上下载这些代码，怎么进行部署和运行代码从github上下载了关于分布式的代码，不知道怎么用，求各位大神指点下。。。下面是网址https://github.com/rolando/scrapy-redis环境已经按照上面的配置好了，...

迷茫 2017-04-24 09:11:57 0  2  548

java - Penyelesaian pemprosesan transaksi yang diedarkan

Adakah anda memerlukan urus niaga teragih apabila menggunakan hibernate pada berbilang pelayan web untuk mengendalikan pangkalan data Adakah terdapat sebarang masalah menggunakan kaedah bersendirian tradisional untuk mengakses pangkalan data Bagaimana industri menangani masalah ini?

女神的闺蜜爱上我 2017-06-23 09:14:37 0  1  1227

Bagaimanakah perangkak PHP mengakses ejen perangkak dinamik?

Bagaimanakah perangkak php mengakses ejen perangkak Adakah anda menggunakan python sebelum ini? Adakah kaedah akses yang sama seperti php?

Laical 2020-03-13 17:10:19 0  0  1099

mongodb分布式存储的原理是什么？

这两天刚开始学mongodb，试着建了分布式存储。 不明白他的基本原理是什么？ 我的测试数据库： weibo文档里有0.156G数据 建立了四个shard节点，发现每个节点的数据是平均分的，这是怎么实现分配的？ 然后我把整个w...

怪我咯 2017-04-24 09:13:36 0  1  660

mongodb可以导出数据到excel吗？

用scrapy+redis+mongodb写的爬虫，爬到的数据可以存储在mongodb中，可以导出为excel格式吗？

伊谢尔伦 2017-04-27 09:02:42 0  2  788

Bagaimanakah docker mengikat IP statik rangkaian awam?

Pada masa ini saya sedang mengusahakan perangkak Weibo yang diedarkan. Weibo mempunyai sekatan ketat pada permintaan akaun dan IP. Saya mempunyai tujuh atau lapan IP awam, tetapi hanya terdapat empat pelayan, jadi empat IP lain akan sia-sia jika tidak digunakan. Jadi saya terfikir untuk menggunakan ...

天蓬老师 2017-05-16 13:17:39 0  2  1136

angular.js - Masalah yang dihadapi dengan arahan Sudut, pertolongan cemas

Saya membuat crawler dengan NodeJS, merangkak data dari halaman web dan mengembalikannya dalam bentuk json Selepas menggunakan $http untuk mendapatkannya, saya kini ingin melarikan diri dan meminta paparan halaman standard halaman dan kemudian bahagian js Kandungan selepas saya mengeluarkan skop pad...

世界只因有你 2017-05-15 16:52:07 0  1  525

redis - Apabila menjalankan perangkak python, versi MySQL ialah 5.7 dan ralat sentiasa dilaporkan

Semasa menjalankan perangkak python, versi MySQL ialah 5.7 dan ralat sentiasa dilaporkan {kod...}. Bagaimana untuk menyelesaikannya?

扔个三星炸死你 2017-06-12 09:19:42 0  2  914

javascript - nod merangkak Weibo

Saya baru mengenali nod dan ingin menulis perangkak untuk merangkak ulasan Sina Weibo, tetapi saya mendapati halaman itu dijana secara dinamik oleh JS dan tidak boleh dirangkak menggunakan modul http, jadi saya menggunakan phantomjs untuk merangkaknya (saya dengar ia akan menjadi lebih perlahan, dan...

仅有的幸福 2017-06-30 10:00:08 0  1  977

Perangkak web - Alamat IP proksi perangkak requests.get Python tidak berubah

Kerja itu memerlukan maklumat merangkak di Amazon, tetapi anti-crawler Amazon terlalu berkuasa, dan alamat IP yang sama akan disekat. Versi Python: 3.6, IDE: Pycharm 2017.1 Saya menyemak banyak maklumat di Internet dan membaca manual perpustakaan permintaan, tetapi semuanya adalah kaedah yang sama: ...

typecho 2017-06-12 09:24:11 0  1  1200

python - Masalah yang dihadapi dalam merangkak senarai artikel latar belakang csdn selepas perangkak mensimulasikan log masuk

Perangkak memang telah log masuk, kerana saya boleh merangkak maklumat peribadi dan boleh menangkapnya, tetapi URL dalam gambar di bawah tidak boleh ditangkap: URLnya ialah: http://write.blog.csdn.net/postlist, iaitu anda csdn Belakang pentas. Biar saya siarkan kod {kod...} kod di atas mengeluarkan....

ringa_lee 2017-05-18 10:51:59 0  2  1068

Scrapy cara mendapatkan start_url asal

Apabila Scrapy merangkak, start_url asal akan berubah disebabkan pengalihan atau sebab lain. Bagaimanakah saya boleh mendapatkan start_url yang asal?

代言 2017-06-28 09:23:41 0  1  1031

python - masalah merangkak berjadual pyspider

Semasa menulis perangkak, saya mendapati bahawa selepas menetapkan setiap dalam kod, selepas merangkak sekali pada 21hb, saya melihat bahawa hasilnya tidak dikemas kini hari ini dan masa merangkak terakhir masih pada 21hb. Adakah tetapan parameter saya salah?

我想大声告诉你 2017-05-18 10:53:29 0  2  968

html - perangkak python ungkapan biasa

import urllib.request req = urllib.request.urlopen('http://search.jd.com/Search?k...') reqOut[3]: <http.client.HTTPResponse di 0x52bf6d8> buf = req.read() buf = buf.decode('utf-8') urlli

怪我咯 2017-06-22 11:51:19 0  2  707

Python - Tajuk halaman web mengandungi baris baharu Bagaimana untuk mengekstraknya menggunakan ungkapan biasa?

Apabila menggunakan python sebagai perangkak web untuk CSDN, semasa merangkak tajuk halaman web, saya sentiasa menggunakan ungkapan biasa (?<=\<title\>).+?(?=\<) dalam CSDN Tidak, saya pergi ke kod sumber CSDN dan melihat Tajuk itu dipaparkan dalam baris baharu, jadi ungk...

女神的闺蜜爱上我 2017-06-22 11:51:43 0  2  993

Penggunaan dalam python tidak jelas

Dalam proses menulis crawler dalam python (merangkak entri Wikipedia), url["href"] muncul semasa proses output menggunakan iterator, saya fikir ia sepatutnya tergolong dalam penggunaan dalam iterator, tetapi saya boleh '. t mencarinya. Tolong bantu saya dengan penggunaan ini, maksud saya, ...

阿神 2017-05-18 10:59:46 0  1  784

Seorang pemula ingin meminta nasihat tentang cara menulis gelung dict ke dalam fail csv dalam python3 (masalah yang dihadapi semasa merangkak)?

Selepas perangkak menjana dict, saya ingin menulisnya ke dalam fail csv, tetapi ralat berlaku menggunakan notebook jupyter dan persekitaran tetingkap. Kod khusus adalah seperti berikut {code...} Apabila menjalankan kod di atas, mesej ralat ialah ValueError: terlalu banyak nilai untuk dibongkar (dija...

我想大声告诉你 2017-05-18 10:49:20 0  3  1430

Python merangkak halaman web dengan permintaan yang bercelaru

**Saya merangkak data daripada dokumen pengadil sebelum ini Selepas menjalankan semula perangkak dalam tempoh ini, saya mendapati bahawa data halaman web tidak dapat diperolehi. * (Sebahagian daripada data yang dikembalikan dipintas seperti berikut: <meta http -equiv="Content-Type" ...

phpcn_u1582 2017-06-22 11:51:56 0  4  1240

pyspider +mongodb 多个爬虫 result 如何指定 collection 名称

如题，我现在需要爬取多个网站的内容，但是结果结构是一样的。现在的配置resultdb 是一个db，每个爬虫的结果分别是不同的集合。而我想把这些结果保存到指定db下的指定集合，这个如何设置。请大侠帮我解答下。

过去多啦不再A梦 2017-04-28 09:05:44 0  1  957

centos - 爬虫执行了一次就不执行了，什么原因？

在centos中crontab了一个时间点，作为爬虫启动时间。第一天成功爬取了数据，第二天就不行了。我查看cron日志，发现定时器成功启动了。但是我发现程序的地方出现： 不知道是不是交换内存的原因？无法启动wiley_spi...

仅有的幸福 2017-04-26 09:00:55 0  1  600