大数据与云计算
何清
摘要:大数据(Big Data)这个概念近年来在越来越多的场合、被越来越多的人提及,并且经常和云计算联系在一起,云计算与大数据之间到底是什么关系成为热点话题。本专题报告包含以下四个方面内容:1. 大数据的价值;2. 大数据带来的挑战;3. 大数据研究成果;4. 云计算是大数据挖掘的主流方式。通过本报告主要论述以下观点:没有互联网就没有云计算模式,没有云计算模式就没有大数据处理技术,也就没有大数据挖掘技术。
关键词:大数据 云计算 数据挖掘
总结:1、大数据的价值。(1)大数据无疑将给人类社会带来巨大的价值。科研机构可以通过大数据业务协助进行研究探索,如环境、资源、能源、气象、航天、生命等领域的探索。产业方面,大数据是现有产业升级与新产业诞生的重要推动力量。(2)大数据正在影响企业商业模式的转变,对数据进行分析、优化正成为提升核心竞争力的有效方式。(3)当然大数据相关的产业链也必然带来巨大影响。首先,信息数据产生将会是第一个环节。其次,信息数据的大量产生需要存储。再次,信息数据需要采集整理。最后,信息数据的分析产出。
2、大数据带来的挑战。(1)描述与存储的挑战。云计算环境下对大数据管理技术提出了新的挑战,主要反映在传统的关系数据库不能满足大数据处理的需求。(2)分析与理解的挑战。大数据的复杂性不仅体现在数据类型的多样性以及数据来源的广泛性上,更重要的是体现在分布的不确定性上。(3)挖掘与预测的挑战。大数据中所蕴含的价值需要挖掘,很多传统的数据挖掘算法不一定能够适用于大数据环境。
3、大数据研究成果。(1)大数据处理技术。主要有数据并行处理、增量处理技术、流式计算技术。(2)大数据挖掘。大数据挖掘技术的实现离不开云计算技术,数据挖掘领域长期受益于并行算法和架构的使用,使得性能逐渐提升。(3)大数据实践。随着云计算普及与推广,云计算应用的不断深入,云计算得到了国内外工业界、学术界乃至政府部门的热烈响应。国内高校与科研院所针对云计算的不同领域开展了深入的研究。
(出处:《科技促进发展》2014年第10卷第1期)