python - Scrapy读取数据库中的url进行爬去
PHP中文网
PHP中文网 2017-04-18 10:15:29
0
1
922

比如我爬去了豆瓣的Top100页面,将每本书的详情页面的URL存入MongoDB中,然后我用Redis去重。然后从Redis中获取url去爬详细的数据。
现在有个问题

在Scrapy中,怎么处理MongoDB中url字段的值进入Redis。或许说。Scrapy怎么从数据库中获取url。

谢谢

PHP中文网
PHP中文网

认证0级讲师

모든 응답(1)
阿神

start_requests에는 쓸 수 없나요?
예를 들어

def start_requests(self):

으아아아
최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿