分布式爬虫 - scrapy-redis 分布式系统？

现在可以从网上下载这些代码，怎么进行部署和运行代码从github上下载了关于分布式的代码，不知道怎么用，求各位大神指点下。。。下面是网址https://github.com/rolando/scrapy-redis环境已经按照上面的配置好了，...

迷茫 2017-04-24 09:11:57 0  2  547

java - 分散トランザクション処理ソリューション

データベースを操作するために複数の Web サーバーに休止状態を展開する場合、分散トランザクションが必要ですか? 従来のスタンドアロン方式を使用してデータベースにアクセスすると、問題は発生しますか? 業界はこの問題にどのように対処していますか?

女神的闺蜜爱上我 2017-06-23 09:14:37 0  1  1220

PHP クローラーはどのようにして動的クローラー エージェントにアクセスしますか?

php クローラーはどのようにしてクローラー エージェントにアクセスしますか? 以前に Python を使用したことがありますか? php と同じアクセス方法ですか?

Laical 2020-03-13 17:10:19 0  0  1092

mongodb分布式存储的原理是什么？

这两天刚开始学mongodb，试着建了分布式存储。 不明白他的基本原理是什么？ 我的测试数据库： weibo文档里有0.156G数据 建立了四个shard节点，发现每个节点的数据是平均分的，这是怎么实现分配的？ 然后我把整个w...

怪我咯 2017-04-24 09:13:36 0  1  659

mongodb可以导出数据到excel吗？

用scrapy+redis+mongodb写的爬虫，爬到的数据可以存储在mongodb中，可以导出为excel格式吗？

伊谢尔伦 2017-04-27 09:02:42 0  2  785

Docker はパブリック ネットワークの静的 IP をどのようにバインドしますか?

現在、分散型Weiboクローラーを開発中です。 Weibo にはアカウントと IP リクエストに厳しい制限があります。手持ちのパブリック IP が 7 ～ 8 つありますが、サーバーは 4 つしかないため、残りの 4 つの IP は使用されないと無駄になります。そこで、仮想マシンまたは Docker を使用してパブリック IP をバインドすることを考えました。仮想マシンでは難しすぎるためです。

天蓬老师 2017-05-16 13:17:39 0  2  1135

angular.js - Angular directive遇到的一个问题，急救

用NodeJS做了一个爬虫，从网页上爬数据然后以json的形式返回， 在用$http拿到之后，我现在想转义问标准的页面显示，我页面上是这样写的 然后js部分 这个地方我输出scope之后的内容是 本来通过scope.newsContents....

世界只因有你 2017-05-15 16:52:07 0  1  525

redis - Python クローラーを実行すると、MySQL バージョンは 5.7 であり、常にエラーが報告されます

Python クローラーを実行すると、MySQL バージョンは 5.7 で、常にエラー {code...} が報告されます。何が問題ですか?どうやって解決すればいいでしょうか？

扔个三星炸死你 2017-06-12 09:19:42 0  2  912

JavaScript - ノードが Weibo をクロールする

私はノードを初めて使用したので、Sina Weibo のコメントをクロールするためのクローラーを作成したいと思っていましたが、ページは JS によって動的に生成されており、http モジュールを使用してクロールできないことがわかりました。そのため、phantomjs を使用してクロールしました (遅くなり、実行に 1 か月近くかかりました） 15 分、遅すぎます、書き方が間違っていたかどうかはわかりません）、それでも動作しない場合は、どうすればよいかを聞きたいです...

仅有的幸福 2017-06-30 10:00:08 0  1  973

Web クローラー - Python のrequests.get クローラーセットのプロキシ IP アドレスは変更されていません

この作業には Amazon 上の情報をクローリングする必要がありますが、Amazon のアンチクローラーが強力すぎるため、同じ IP アドレスはブロックされてしまいます。 Python バージョン: 3.6、IDE: Pycharm 2017.1. ネットで色々調べたり、リクエストライブラリのマニュアルを読んだりしましたが、どれも同じ方法で、コードは次の通りです: {code...}.. 。

typecho 2017-06-12 09:24:11 0  1  1200

Python - クローラーがログインをシミュレートした後、csdn バックグラウンド記事リストをクロールする際に問題が発生しました

クローラーは確かにログインしています。個人情報をクロールして取得できるためですが、次の図の URL は取得できません。URL は http://write.blog.csdn.net/postlist です。これはあなたのものです。 csdn バックステージ。コードを投稿しましょう。py2.7 の {code...}。上記のコードの出力は...

ringa_lee 2017-05-18 10:51:59 0  2  1068

Scrapy オリジナルの start_url を取得する方法

Scrapy がクロールすると、リダイレクトなどの理由で元の start_url が変更されます。元の start_url を取得するにはどうすればよいですか? {コード...}

代言 2017-06-28 09:23:41 0  1  1024

Python - pyspiderのスケジュールされたクロールの問題

クローラーを作成するときに、コード内で Every を設定した後、21 日に一度クロールした後、結果が今日更新されておらず、lastcrawltime も 21 日のままであることがわかりました。パラメータの設定が間違っているのでしょうか？

我想大声告诉你 2017-05-18 10:53:29 0  2  965

html - 正規表現Pythonクローラー

import urllib.request req = urllib.request.urlopen('http://search.jd.com/Search?k...') reqOut[3]: <http.client.HTTPResponse at 0x52bf6d8> buf = req.read() buf = buf.decode('utf-8') urlli

怪我咯 2017-06-22 11:51:19 0  2  703

Python - Web ページのタイトルに改行が含まれていますが、正規表現を使用して改行を抽出するにはどうすればよいですか?

CSDN の Web クローラーとして Python を使用する場合、Web ページのタイトルをクロールするときは、CSDN では常に正規表現 (?<=\<title\>).+?(?=\<) を使用します。いや、CSDNのソースコードを見てみたら、タイトルが改行で表示されていて、本来の正規表現が使えなかったので、問題は…。

女神的闺蜜爱上我 2017-06-22 11:51:43 0  2  989

Pythonでの使い方が不明瞭

Python でクローラーを作成するプロセス (Wikipedia エントリをクロールする) で、イテレーターを使用する出力プロセス中に url["href"] が表示されました。イテレーター内の使用法に属しているはずだと思いましたが、見つかりませんでした。この使い方を手伝ってください。つまり、{code...} の最後の行にある url["href"] をありがとうございます。これはクロールによって取得されます...

阿神 2017-05-18 10:59:46 0  1  779

初心者は、python3 で dict ループを csv ファイルに書き込む方法 (クロール時に発生する問題) についてアドバイスを求めたいと考えています。

クローラーが辞書を生成した後、csvファイルに書き込みたいのですが、jupyter NotebookとWindow環境ではエラーが発生します。具体的なコードは次のとおりです {code...} 上記のコードを実行すると、エラー メッセージは「ValueError: too many names to unpack (expected 2). TheReason for querying is to iterate the dict...」です。

我想大声告诉你 2017-05-18 10:49:20 0  3  1428

Python が文字化けしたリクエストを含む Web ページをクロールする

**以前、査読文書のデータをクロールしたことがありますが、その間に再度クローラーを実行したところ、Webページのデータが取得できず、検索したところリクエストWebページのソースコードが文字化けしていることが分かりました* * (返されたデータの一部は次のようにインターセプトされます: <meta http -equiv="Content-Type" content="text/htm...

phpcn_u1582 2017-06-22 11:51:56 0  4  1235

pyspider +mongodb 多个爬虫 result 如何指定 collection 名称

如题，我现在需要爬取多个网站的内容，但是结果结构是一样的。现在的配置resultdb 是一个db，每个爬虫的结果分别是不同的集合。而我想把这些结果保存到指定db下的指定集合，这个如何设置。请大侠帮我解答下。

过去多啦不再A梦 2017-04-28 09:05:44 0  1  950

centos - 爬虫执行了一次就不执行了，什么原因？

在centos中crontab了一个时间点，作为爬虫启动时间。第一天成功爬取了数据，第二天就不行了。我查看cron日志，发现定时器成功启动了。但是我发现程序的地方出现： 不知道是不是交换内存的原因？无法启动wiley_spi...

仅有的幸福 2017-04-26 09:00:55 0  1  598