大数据下的智能数据分析技术研究

李贵兵   罗洪

摘要：大数据背景下对数据的智能分析技术提出了新的挑战，本文对传统的智能数据分析技术做了比较，分析其各自的优缺点。同时对新的大数据分析方案Hadoop进行了梳理,提出了未来大数据智能分析技术的发展方向的展望。

关键词：大数据；数据智能分析；Hadoop

总结：1、几种传统智能数据分析方法的比较。（1）决策树。决策树是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险。这种方法实现了数据规则的可视化，其输出结果容易理解，精确度较好，效率较高，缺点是难于处理关系复杂的数据。（2）关联规则。关联规则分析发现大量数据中项集之间有价值的关联或相关联系。（3）粗糙集。是一种基于规则的数据分析的方法，它无需提供对知识或数据的主观评价，仅根据观测数据就能达到删除冗余信息；非常适合并行计算、提供结果的直接解释。（4）模糊数学分析。在数据分析过程中，利用模糊集方法对实际问题进行模糊评判、模糊决策、模糊预测、模糊模式识别和模糊聚类分析，这样能够取得更好更客观的效果。（5）人工神经网络。它的优点有三个方面:第一，具有自学习功能。第二，具有联想存储功能。第三，具有高速寻找优化解的能力。（6）混沌和分形理论。研究非线性系统内部的确定性与随机性之间的关系。（7）自然计算分析方法。自然计算是指受自然界中生物体的启发，模拟或仿真实现发生在自然界中、易作为计算过程解释的动态过程。

2、大数据下数据智能分析技术。大数据环境下有很多企业和科研人员提出了很多新的智能分析技术方案，这些方案都涉及Hadoop这个大数据分析平台。Hadoop是Appach基金会支持的一个开源系统，包括两部分，一是分布文件系统、二是分布计算系统。另一方面，大数据分析相比传统的数据分析，需要有新的大数据分析方法和理论的出现。

 （出处：《科技资讯》2013年第30期）