摘要:云计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长,大数据时代正式到来。数据从简单的处理对象开始转变为一种基础性资源,如何更好地管理和利用大数据已经成为普遍关注的话题。大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,数据管理方式上的变革正在酝酿和发生。对大数据的基本概念进行剖析,并对大数据的主要应用作简单对比。在此基础上,阐述大数据处理的基本框架,并就云计算技术对于大数据时代数据管理所产生的作用进行分析。最后归纳总结大数据时代所面临的新挑战。 关键词:大数据;数据分析;云计算
Big Data Management:Concepts,Techniques and Challenges
Abstract:Data type and amount in human society is growing in amazing speed which is caused by emerging new services such as cloud computing, internet of things and social network, the era of big data has come. Data has been fundamental resource from simple dealing object, and how to manage and utilize big data better has attracted much attention. Evolution or revolution on database research for big data is a problem. This paper discusses the concept of big data,and surveys its state of the art. The framework of big data is described and key techniques are studied. Finally some new challenges in the future are summarized.
Key words: big data;data analysis;cloud computing
文章通过介绍大数据概念,指出大数据的技术分析和主要大数据处理平台—云计算和Hadoop,重点提出了大数据时代的数据管理面临着新的挑战:1、数据集成方面的挑战。2、大数据分析方面的挑战。3、大数据隐私问题。4、大数据能耗问题。5、大数据处理与硬件协同问题。6、大数据管理易用性问题。7、性能的测试基准问题。
(文章来源:《计算机研究与发展》2013,50(1) 作者:孟小峰,慈祥 中国人民大学信息学院)