比如我爬去了豆瓣的Top100页面,将每本书的详情页面的URL存入MongoDB中,然后我用Redis去重。然后从Redis中获取url去爬详细的数据。现在有个问题
在Scrapy中,怎么处理MongoDB中url字段的值进入Redis。或许说。Scrapy怎么从数据库中获取url。
谢谢
认证0级讲师
Je ne peux pas l'écrire dans start_requests ? Par exemple
def start_requests(self):
r = Redis.Redis() while true: url = r.lpop('xxxx') yield scrapy.Request(url)
Je ne peux pas l'écrire dans start_requests ?
Par exemple
def start_requests(self):