简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
python - scrapy 处理 文章 分页的内容
PHP中文网
PHP中文网 2017-04-18 10:32:48
0
3
395

如一篇文章有2-3页，然后想把这些内容页爬下来，拼接成一页，然后再放入数据库。
文章url如：article_1.html,article_2.html
item有：item['title'],item['content']
而item['content']就是拼接成一页的内容。
大概怎么写呢？

PHP中文网
PHP中文网

认证0级讲师

Antworte allen(3)
大家讲道理
大家讲道理2017-04-18 10:34:48 3 Etage

找到分页接口url

Wie +0
Antwort hinzufügen
大家讲道理
大家讲道理2017-04-18 10:34:48 2 Etage

找到那个下一页的链接，加入到爬取url列表中

Wie +0
Antwort hinzufügen
洪涛
洪涛2017-04-18 10:34:48 1 Etage

可以在rules里面写正则自动扫描符合的url

Wie +0
Antwort hinzufügen
Beliebte Themen
Mehr>
Populäre Artikel
Beliebte Tutorials
Mehr>
Verwandte Tutorials
Beliebte Empfehlungen
Aktuelle Kurse
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage
Über uns Haftungsausschluss Sitemap
Chinesische PHP-Website：Online-PHP-Schulung für das Gemeinwohl，Helfen Sie PHP-Lernenden, sich schnell weiterzuentwickeln！