灵玖软件：NLPIR智能挖掘提供高精度大数据分析

　　随着国家经济的迅猛发展，大数据互联网技术也伴随经济改革的大潮，得到了快速发展，人们的日常生活充斥着无数的信息数据，因此大数据分析技术也应运而生。在云计算技术强大运算能力的支持下，迅速扩大了大数据的使用范围。

　　目前，大数据的重要性无人质疑，大数据是一个抽象概念，不仅具有数据庞大的特征，还有其他一些特征，这些特征的区分了大数据和“海量数据”、“非常大的数据”这些概念的不同。一般情况下大数据是指无法在有限时间内用传统IT技术和硬件工具对其进行的管理、预测、处理和服务的数据集合。

　　大数据分析一般被认为是在人工神经网络、模糊系统、演化计算这3个主要分支发展相对成熟的基础上,通过相互之间的有机融合而形成的新的科学方法.其特点决定了其在大数据分析中具有巨大的应用潜力:

　　首先,大数据混杂多样(variety)、多变(variability)的特点决定了模型驱动的方法存在本质上的局限性, 因为面对海量、复杂的大数据,往往难以根据先验知识建立精确的模型.演化计算、群体智能等计算智能方法不依赖于知识,不需要对问题进行精确建模而在数据上直接进行分析和处理的特点非常适于进行大数据分析.大数据分析往往伴随着环境的变化,这源于系统本身以及用户需求、目标等主客观因素的变化.传统方法往往难以适应环境的变化,导致算法失效.而以遗传算法为代表的演化算法在代与代之间维持潜在解的种群,并能够根据环境不断优化种群的适应度,因此更容易适应环境的变化。

　　其次,精度(veracity)是大数据的一个重要维度,对不确定性的处理和管理的需求源于数据采集手段、系 统状态变化和自然环境等随机因素的干扰,同时也源于大数据固有的不确定性.因此,对不确定和概率数据的挖掘已成为当前大数据分析中的重要问题.模糊逻辑、粗糙集等计算智能方法能够有效处理数据中的不完全、不精确或者不确定性,增强了分析结果的客观性和可解释性.

　　最后,大数据的规模和复杂性意味着大数据分析需要巨大的计算时空开销,可能无法在可接受的时间 内得到精确解.计算智能方法具有启发式特征,通过模拟人类和其他生物体的智慧求解问题,具有高度的自组织、自适应性、泛化和抽象的能力,可以快速近似求解一些NP难的问题,比如组合优化问题,为大规模复杂问题的求解提供了有效手段。

　　北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是满足大数据挖掘对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。

　　NLPIR大数据语义智能分析平台主要有精准采集、文档转化、新词发现、批量分词、语言统计、文本聚类、文本分类、摘要实体、智能过滤、情感分析、文档去重、全文检索、编码转换等十余项功能模块，平台提供了客户端工具，云服务与二次开发接口等多种产品使用形式。各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD等不同操作系统平台，可以供Java，Python，C，C#等各类开发语言使用。

　　数据挖掘技术本身就是当前数据技术发展的新领域，文本挖掘则发展历史更短。传统的信息检索技术对于海量数据的处理并不尽如人意，文本挖掘便日益重要起来，可见文本挖掘技术是从信息抽取以及相关技术领域中慢慢演化而成的。在信息管理领域，综合应用数据挖掘技术和人工智能技术，获取用户知识、文献知识等各类知识，将是实现知识检索和知识管理发展的必经之路。