首页 > 后端开发 > php教程 > PHP或者python进行数据采集和分析,有什么比较成熟的框架?

PHP或者python进行数据采集和分析,有什么比较成熟的框架?

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB
发布: 2016-10-20 10:08:53
原创
945 人浏览过

我现在需要对一个网站的文章列表和列表里面的实际内容进行自动化数据采集,列表里面能够取得每个文章的id,而每个文章又是通过一个统一的接口(参数带上那个文章id即可获取到对应的json)里面又有一部分数据需要采集然后进行数据分析。

目前有什么比较成熟的框架或者轮子能够实现我的需求吗?(要多线程,而且可以7x24小时稳定运行,因为采集数量巨大)

另外问一下,采集到的内容如何存储(百万到千万),数据里面有一些数字数据,需要进行统计分析,用mysql可以吗?或者说还有其他更加成熟简便的轮子可以用吗?

相关标签:
来源:php.cn
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
vim c-x c-o 补全出现新的窗口
来自于 1970-01-01 08:00:00
0
0
0
合并HTML和C++:实现HTML与C++的结合
来自于 1970-01-01 08:00:00
0
0
0
C C++中如何获取本机所有的.exe文件的路径
来自于 1970-01-01 08:00:00
0
0
0
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板