python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示
PHPz
PHPz 2017-04-18 10:32:53
0
1
611

爬虫运行时一直是这样的每一分钟出现一条这样的信息,无限循环。不能爬取下来数据

这是redis服务端的显示

这样是什么问题,望有高手可以为我解惑,谢谢。

PHPz
PHPz

学习是最好的投资!

reply all(1)
大家讲道理

Using scrapy_redis, you need to place the URL for spider to crawl. Have you placed it?
For example

redis-cli lpush myspider:start_urls http://google.com
Latest Downloads
More>
Web Effects
Website Source Code
Website Materials
Front End Template
About us Disclaimer Sitemap
php.cn:Public welfare online PHP training,Help PHP learners grow quickly!