python - Scrapy读取数据库中的url进行爬去
PHP中文网
PHP中文网 2017-04-18 10:15:29
0
1
932

比如我爬去了豆瓣的Top100页面,将每本书的详情页面的URL存入MongoDB中,然后我用Redis去重。然后从Redis中获取url去爬详细的数据。
现在有个问题

在Scrapy中,怎么处理MongoDB中url字段的值进入Redis。或许说。Scrapy怎么从数据库中获取url。

谢谢

PHP中文网
PHP中文网

认证0级讲师

reply all(1)
阿神

Can’t I write it in start_requests?
For example

def start_requests(self):

r = Redis.Redis()
while true:
    url = r.lpop('xxxx')
    yield scrapy.Request(url)
Latest Downloads
More>
Web Effects
Website Source Code
Website Materials
Front End Template