简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
python - Scrapy读取数据库中的url进行爬去
PHP中文网
PHP中文网 2017-04-18 10:15:29
0
1
892

比如我爬去了豆瓣的Top100页面，将每本书的详情页面的URL存入MongoDB中，然后我用Redis去重。然后从Redis中获取url去爬详细的数据。
现在有个问题

在Scrapy中，怎么处理MongoDB中url字段的值进入Redis。或许说。Scrapy怎么从数据库中获取url。

谢谢

PHP中文网
PHP中文网

认证0级讲师

모든 응답(1)
阿神
阿神2017-04-18 10:17:29 1층

start_requests에는 쓸 수 없나요?
예를 들어

def start_requests(self):

으아아아
좋다 +0
답글 추가
인기 주제
더>
인기 기사
인기 튜토리얼
더>
관련 튜토리얼
인기 추천
최신 강좌
최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿
회사 소개 부인 성명 Sitemap
PHP 중국어 웹사이트：공공복지 온라인 PHP 교육，PHP 학습자의 빠른 성장을 도와주세요！