分布式爬虫 - scrapy-redis 分布式系统？

现在可以从网上下载这些代码，怎么进行部署和运行代码从github上下载了关于分布式的代码，不知道怎么用，求各位大神指点下。。。下面是网址https://github.com/rolando/scrapy-redis环境已经按照上面的配置好了，...

迷茫 2017-04-24 09:11:57 0  2  548

Java – Verteilte Transaktionsverarbeitungslösung

Benötigen Sie verteilte Transaktionen, wenn Sie den Ruhezustand auf mehreren Webservern einsetzen, um die Datenbank zu betreiben? Wird es Probleme geben, wenn Sie die herkömmliche Standalone-Methode verwenden, um auf die Datenbank zuzugreifen?

女神的闺蜜爱上我 2017-06-23 09:14:37 0  1  1227

Wie greift der PHP-Crawler auf den dynamischen Crawler-Agenten zu?

Wie greift der PHP-Crawler auf den Crawler-Agenten zu? Haben Sie zuvor Python verwendet?

Laical 2020-03-13 17:10:19 0  0  1099

mongodb分布式存储的原理是什么？

这两天刚开始学mongodb，试着建了分布式存储。 不明白他的基本原理是什么？ 我的测试数据库： weibo文档里有0.156G数据 建立了四个shard节点，发现每个节点的数据是平均分的，这是怎么实现分配的？ 然后我把整个w...

怪我咯 2017-04-24 09:13:36 0  1  660

mongodb可以导出数据到excel吗？

用scrapy+redis+mongodb写的爬虫，爬到的数据可以存储在mongodb中，可以导出为excel格式吗？

伊谢尔伦 2017-04-27 09:02:42 0  2  788

Wie bindet Docker die statische IP eines öffentlichen Netzwerks?

Derzeit arbeite ich an einem verteilten Weibo-Crawler. Bei Weibo gelten strenge Beschränkungen für Konto- und IP-Anfragen. Ich habe sieben oder acht öffentliche IPs, aber es gibt nur vier Server, sodass die anderen vier IPs verschwendet werden, wenn sie nicht verwendet werden. Deshalb habe ich darüb...

天蓬老师 2017-05-16 13:17:39 0  2  1136

angular.js - Angular directive遇到的一个问题，急救

用NodeJS做了一个爬虫，从网页上爬数据然后以json的形式返回， 在用$http拿到之后，我现在想转义问标准的页面显示，我页面上是这样写的 然后js部分 这个地方我输出scope之后的内容是 本来通过scope.newsContents....

世界只因有你 2017-05-15 16:52:07 0  1  525

redis – Beim Ausführen eines Python-Crawlers ist die MySQL-Version 5.7 und es wird immer ein Fehler gemeldet

Beim Ausführen des Python-Crawlers ist die MySQL-Version 5.7 und es wird immer ein Fehler gemeldet {code...} Was ist das Problem? Wie man es löst?

扔个三星炸死你 2017-06-12 09:19:42 0  2  914

Javascript – Knoten crawlt Weibo

Ich war neu bei Node und wollte einen Crawler schreiben, um Sina Weibo-Kommentare zu crawlen, aber ich stellte fest, dass die Seite dynamisch von JS generiert wurde und nicht mit dem http-Modul gecrawlt werden konnte, also habe ich Phantomjs zum Crawlen verwendet (ich habe gehört, dass dies der Fall...

仅有的幸福 2017-06-30 10:00:08 0  1  977

Webcrawler – Die Proxy-IP-Adresse des Python-Requests.get-Crawlers hat sich nicht geändert

Die Arbeit erfordert das Crawlen von Informationen auf Amazon, aber der Anti-Crawler von Amazon ist zu leistungsfähig und dieselbe IP-Adresse wird blockiert. Python-Version: 3.6, IDE: Pycharm 2017.1. Ich habe viele Informationen im Internet überprüft und das Handbuch der Anforderungsbibliothek geles...

typecho 2017-06-12 09:24:11 0  1  1200

python – Beim Crawlen der CSDN-Hintergrundartikelliste sind Probleme aufgetreten, nachdem der Crawler die Anmeldung simuliert hat

Der Crawler hat sich tatsächlich angemeldet, da ich persönliche Informationen crawlen und erfassen kann, aber die URL im Bild unten kann nicht erfasst werden: Die URL lautet: http://write.blog.csdn.net/postlist, was Ihre ist csdn Backstage. Lassen Sie mich den Code veröffentlichen. Der obige Code gi...

ringa_lee 2017-05-18 10:51:59 0  2  1068

Scrapy, wie man die ursprüngliche Start-URL erhält

Wenn Scrapy crawlt, ändert sich die ursprüngliche Start-URL aufgrund einer Umleitung oder aus anderen Gründen. Wie kann ich die ursprüngliche Start-URL erhalten?

代言 2017-06-28 09:23:41 0  1  1031

Python – Pyspider-Crawling-Problem

Beim Schreiben des Crawlers stellte ich fest, dass nach dem Festlegen von every im Code nach dem einmaligen Crawlen am 21. festgestellt wurde, dass das Ergebnis heute nicht aktualisiert wurde und die letzte Crawlzeit immer noch am 21. war. Ist meine Parametereinstellung falsch?

我想大声告诉你 2017-05-18 10:53:29 0  2  968

html – Python-Crawler für reguläre Ausdrücke

import urllib.request req = urllib.request.urlopen('http://search.jd.com/Search?k...') reqOut[3]: <http.client.HTTPResponse at 0x52bf6d8> buf = req.read() buf = buf.decode('utf-8') urlli

怪我咯 2017-06-22 11:51:19 0  2  707

Python – Der Titel der Webseite enthält eine neue Zeile. Wie extrahiere ich ihn mit regulären Ausdrücken?

Wenn ich Python als Webcrawler für CSDN verwende und den Titel einer Webseite crawle, verwende ich in CSDN immer den regulären Ausdruck (?<=\<title\>).+?(?=\<). Nein, ich habe mir den CSDN-Quellcode angesehen. Der Titel wurde in einer neuen Zeile angezeigt, sodass der urs...

女神的闺蜜爱上我 2017-06-22 11:51:43 0  2  993

Eine Verwendung in Python ist unklar

Beim Schreiben eines Crawlers in Python (Crawlen der Wikipedia-Einträge) erschien die URL["href"] während des Ausgabeprozesses der Verwendung des Iterators. Ich dachte, sie sollte zu einer Verwendung im Iterator gehören, konnte es aber nicht. Ich kann es nicht finden. Bitte helfen Sie mir ...

阿神 2017-05-18 10:59:46 0  1  784

Ein Anfänger möchte um Rat fragen, wie man eine Diktierschleife in eine CSV-Datei in Python3 schreibt (Probleme beim Crawlen)?

Nachdem der Crawler das Diktat generiert hat, möchte ich es in eine CSV-Datei schreiben, aber bei der Verwendung des Jupyter-Notebooks und der Windows-Umgebung tritt ein Fehler auf. Der spezifische Code lautet wie folgt: {Code...} Beim Ausführen des obigen Codes lautet die Fehlermeldung ValueError: ...

我想大声告诉你 2017-05-18 10:49:20 0  3  1430

Python crawlt Webseiten mit verstümmelten Anfragen

**Ich habe zuvor Daten aus Referenzdokumenten gecrawlt. Nachdem ich den Crawler in diesem Zeitraum erneut ausgeführt hatte, stellte ich fest, dass die Webseitendaten nicht abgerufen werden konnten. Bei der Suche stellte ich fest, dass der Quellcode der Anforderungswebseite verstümmelte Zeichen zurüc...

phpcn_u1582 2017-06-22 11:51:56 0  4  1240

pyspider +mongodb 多个爬虫 result 如何指定 collection 名称

如题，我现在需要爬取多个网站的内容，但是结果结构是一样的。现在的配置resultdb 是一个db，每个爬虫的结果分别是不同的集合。而我想把这些结果保存到指定db下的指定集合，这个如何设置。请大侠帮我解答下。

过去多啦不再A梦 2017-04-28 09:05:44 0  1  955

centos - 爬虫执行了一次就不执行了，什么原因？

在centos中crontab了一个时间点，作为爬虫启动时间。第一天成功爬取了数据，第二天就不行了。我查看cron日志，发现定时器成功启动了。但是我发现程序的地方出现： 不知道是不是交换内存的原因？无法启动wiley_spi...

仅有的幸福 2017-04-26 09:00:55 0  1  600