简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
javascript - 如何用scrapy 抓取js生成的页面？
高洛峰
高洛峰 2017-04-10 14:54:06
0
1
386

有些页面通过诸如js的writeline生成，数据都是来自后台，在前台的“查看源代码”中无法看到。

像这些页面如果直接抓取，是行不通的。

通过在sf上查找，发现需要加scrapy的中间件，在分析之前，先要把js的内容解析出来。

网上说的比较多的是webkit，但都通通指向同一个内容：链接不一样，内容基本一样，而且说的比较简单，这里想请教大家，能不能说的具体一点？

高洛峰
高洛峰

拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师，...

reply all(1)
黄舟
黄舟2017-04-10 14:56:06 1 floor

尝试抓包获取数据api接口 直接对api接口 scrapy 基本百发百中...
真不行再webkit模拟...

Like +0
Add Reply
Popular Topics
More>
Popular Articles
Popular Tutorials
More>
Related Tutorials
Popular Recommendations
Latest courses
Latest Downloads
More>
Web Effects
Website Source Code
Website Materials
Front End Template
About us Disclaimer Sitemap
php.cn：Public welfare online PHP training，Help PHP learners grow quickly！