大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的特点:1、数据体量巨大;2、数据形式多样,广泛的数据来源,决定了大数据形式的多样性;3、高速性,即数据增长快速,处理快速;4、价值密度低;5、商业价值高。
本教程操作环境:windows7系统、Dell G3电脑。
什么是大数据
大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(容量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。
特征
容量(Volume):数据的大小决定所考虑的数据的价值和潜在的信息;
种类(Variety):数据类型的多样性;
速度(Velocity):指获得数据的速度;
可变性(Variability):妨碍了处理和有效地管理数据的过程。
真实性(Veracity):数据的质量。
复杂性(Complexity):数据量巨大,来源多渠道。
价值(value):合理运用大数据,以低成本创造高价值。
大数据有什么特点
1.数据体量巨大
随着互联网行业的发展,许多日常运营中生成、累积的用户网络行为的数据。比如社交电商平台每天的产生订单,各个短视频、论坛、社区发布的帖子、评论及小视频,每天发送的电子邮件,以及上传的图片、视频与音乐等等,这些无数个体产生的数据规模很庞大,数据体量早已达到了PB级别以上。如此大规模的数据想要被处理,被分析,被统计,就需要有足够大的容量,所以大数据的一大特点就是体量巨大。
2.数据形式多样
广泛的数据来源,决定了大数据形式的多样性。任何形式的数据都可以产生作用,目前应用最广泛的就是推荐系统,如淘宝,网易云音乐、今日头条等,这些平台都会通过对用户的日志数据进行分析,从而进一步推荐用户喜欢的东西。日志数据是结构化明显的数据,还有一些数据结构化不明显,例如图片、音频、视频等,这些数据因果关系弱,就需要人工对其进行标注。
3.高速性
大数据的高速性是指数据增长快速,处理快速。每一天,各行各业的数据都在呈现指数性爆炸增长。在许多场景下,数据都具有时效性,如搜索引擎要在几秒中内呈现出用户所需数据。企业或系统在面对快速增长的海量数据时,必须要高速处理,快速响应。
4.价值密度低
大数据的低价值密度性是指在海量的数据源中,真正有价值的数据少之又少,许多数据可能是错误的,是不完整的,是无法利用的。总体而言,有价值的数据占据数据总量的密度极低,提炼数据好比浪里淘沙。
5.商业价值高
相比于传统的小数据,大数据最大的价值在于通过从大量不相关的各种类型的数据中,挖掘出对未来趋势与模式预测分析有价值的数据,并通过机器学习方法、人工智能方法或数据挖掘方法深度分析,发现新规律和新知识,并运用于农业、金融、医疗等各个领域,从而最终达到改善社会治理、提高生产效率、推进科学研究的效果,实现其商业价值。
推荐:《编程视频》
Atas ialah kandungan terperinci 什么是大数据,大数据有什么特点. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!