NLPIR智能挖掘大数据预测行业发展趋势

　　随着社会的进步，科学技术的不断发展，信息技术成了目前最受关注，也是发展最快的科学技术。世界各国都在致力于信息化，而各国对于信息化的巨大需求又反过来不断促进信息技术的革新，可以说，我们已经进入了信息时代。数据的密集爆发是信息时代的重要特征之一，更令人惊讶的是，这种数据的变化并不是一个循序渐进的过程，而是一个跨越式的过程。数据挖掘技术就应用而生。

　　数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。数据挖掘的目标是从数据库中发现隐含的、有意义的知识，主要有以下五类功能。

　　1、自动预测趋势和行为

　　数据挖掘自动在大型数据库中寻找预测性信息，以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。一个典型的例子是***预测问题，数据挖掘使用过去有关促销的数据来寻找未来投资中回报最大的用户，其它可预测的问题包括预报破产以及认定对指定事件最可能作出反应的群体。

　　2、关联分析

　　数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因果关联。关联分析的目的是找出数据库中隐藏的关联网。有时并不知道数据库中数据的关联函数，即使知道也是不确定的，因此关联分析生成的规则带有可信度。

　　3、聚类

　　数据库中的记录可被化分为一系列有意义的子集，即聚类。聚类增强了人们对客观现实的认识，是概念描述和偏差分析的先决条件。聚类技术主要包括传统的模式识别方法和数学分类学。

　　4、概念描述

　　概念描述就是对某类对象的内涵进行描述，并概括这类对象的有关特征。概念描述分为特征性描述和区别性描述，前者描述某类对象的共同特征，后者描述不同类对象之间的区别。 生成一个类的特征性描述只涉及该类对象中所有对象的共性。生成区别性描述的方法很多，如决策树方法、遗传算法等。

　　5、偏差检测

　　数据库中的数据常有一些异常记录，从数据库中检测这些偏差很有意义。偏差包括很多潜在的知识，如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量值随时间的变化等。偏差检测的基本方法是，寻找观测结果与参照值之间有意义的差别。

　　在大数据环境下，很多数据集不再具有标识个体的关键字，传统的关系数据库的连接方法不再适用，探讨需要利用数据库之间的重叠项目来结合不同的数据 库;利用变量间的条件独立性整合多个不同变量集的数据为一个完整变量集的大数据库的方法;探索不必经过整合的多数据库，来直接利用局部数据进行推断和各推断结果传播的方法;另一方面，利用统计方法无信息损失地分解和压缩大数据。在多源和多专题的数据库环境中，各个数据集的获取条件不同、项目不同又有所重叠。在这种情况下就需要一种新的的技术方法来解决。

　　北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是满足大数据挖掘对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。

　　NLPIR大数据语义智能分析平台主要有精准采集、文档转化、新词发现、批量分词、语言统计、文本聚类、文本分类、摘要实体、智能过滤、情感分析、文档去重、全文检索、编码转换等十余项功能模块，平台提供了客户端工具，云服务与二次开发接口等多种产品使用形式。各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD等不同操作系统平台，可以供Java，Python，C，C#等各类开发语言使用。

　　在现今社会，数据挖掘技术已经可以被应用与所有的领域和行业中。在人们生活里的各个方面几乎都可以用到数据挖掘技术数据挖掘技术不但给我们的日常生活带来了巨大的改变和影响，并且这种影响还深深的改变着我们的生活方式。在各个领域的应用也会越来越广泛和深入，相关的研究也会越来越全面和深入，综合应用数据挖掘技术和人工智能技术，为各个行业提供更多帮助。