python - scrapy 处理 文章 分页的内容
PHP中文网
PHP中文网 2017-04-18 10:32:48
0
3
442

如一篇文章有2-3页,然后想把这些内容页爬下来,拼接成一页,然后再放入数据库。
文章url如:article_1.html,article_2.html
item有:item['title'],item['content']
item['content']就是拼接成一页的内容。
大概怎么写呢?

PHP中文网
PHP中文网

认证0级讲师

全員に返信(3)
大家讲道理

ページングインターフェースのURLを見つける

いいねを押す +0
大家讲道理

次のページへのリンクを見つけて、クロールされた URL のリストに追加します

いいねを押す +0
洪涛

ルールに規則的なルールを記述して、一致する URL を自動的にスキャンすることができます

いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート