Master和sleeve之间需要协作通信，而实现协作通信需要用到jsonRPC，在网上看了一些这方面的内容，一、需要安装jsonrpc-scrapy二、在程序中导入相应的包三、协作通信主要是通过http来实现现在有一个master，多个sleeve,master相当于服务器，而sleeve相当于爬虫的节点，来实现具体的爬虫任务。分布式实现涉及任务的调度，以及任务的分配，但整体还是不太清楚协作通信是如何实现的
最近勉強しているのですが、まだ配布には至っていません。
で google を検索し、たまたま redis を使用しました。以前、面接中にこの質問を受けました。
google
redis
これら 2 つのブログ投稿を参照してください。最初のブログ投稿の方が参考になると思います。
scrapy、redis、mongodb を使用して実装された分散 Web クローラー
Python クローラーを使い始めるにはどうすればよいですか?
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
最近勉強しているのですが、まだ配布には至っていません。
で
googleを検索し、たまたまredisを使用しました。以前、面接中にこの質問を受けました。これら 2 つのブログ投稿を参照してください。最初のブログ投稿の方が参考になると思います。
scrapy、redis、mongodb を使用して実装された分散 Web クローラー
Python クローラーを使い始めるにはどうすればよいですか?