简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
python - Scrapy读取数据库中的url进行爬去
PHP中文网
PHP中文网 2017-04-18 10:15:29
0
1
896

比如我爬去了豆瓣的Top100页面，将每本书的详情页面的URL存入MongoDB中，然后我用Redis去重。然后从Redis中获取url去爬详细的数据。
现在有个问题

在Scrapy中，怎么处理MongoDB中url字段的值进入Redis。或许说。Scrapy怎么从数据库中获取url。

谢谢

PHP中文网
PHP中文网

认证0级讲师

全員に返信(1)
阿神
阿神2017-04-18 10:17:29 1棟

start_requestsには書けないのですか？
例えば

def start_requests(self):

リーリー
いいねを押す +0
返信を追加
人気のトピック
詳細>
人気の記事
人気のチュートリアル
詳細>
関連するチュートリアル
人気のおすすめ
最新のコース
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート
私たちについて 免責事項 Sitemap
PHP中国語ウェブサイト：福祉オンライン PHP トレーニング，PHP 学習者の迅速な成長を支援します！