python - scrapy 处理 文章 分页的内容

Question

如一篇文章有2-3页，然后想把这些内容页爬下来，拼接成一页，然后再放入数据库。
文章url如：article_1.html,article_2.html
item有：item['title'],item['content']
而item['content']就是拼接成一页的内容。
大概怎么写呢？

Answer 1

找到分页接口url

Answer 2

找到那个下一页的链接，加入到爬取url列表中

Answer 3

可以在rules里面写正则自动扫描符合的url