python - scrapy 处理 文章 分页的内容
PHP中文网
PHP中文网 2017-04-18 10:32:48
0
3
394

如一篇文章有2-3页,然后想把这些内容页爬下来,拼接成一页,然后再放入数据库。
文章url如:article_1.html,article_2.html
item有:item['title'],item['content']
item['content']就是拼接成一页的内容。
大概怎么写呢?

PHP中文网
PHP中文网

认证0级讲师

全部回覆(3)
大家讲道理

找到分頁介面url

大家讲道理

找到那個下一頁的鏈接,加入到爬取url列表中

洪涛

可以在rules裡面寫正規自動掃描符合的url

熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!