顾君忠

摘要：“大数据”是目前的热门词汇，本文分析了大数据和大数据分析等基本概念和大数据的特点。针对其引起的技术上的挑战进行了深入分析，突出讨论了在数据库技术上关于NoSQL与SQL的挑战，和在机器学习方面的挑战。最后从软件角度对如何实现大数据的管理、处理和分析，以及相关的技术平台进行了分析和研究。

关键词：大数据；大数据分析；NoSQL;机器学习；Hadoop

总结：1、大数据带来的挑战。大数据对我们形成的挑战有技术上的挑战，道德上的挑战，和法律上的挑战。文章主要聚焦了技术上的四个挑战：SQL和NoSQL问题、实时处理问题、机器学习问题、文本分析问题。

2、实现大数据和大数据分析的要求。文章谈到了一些基本要求：（1）综合性，指一个宽域的、能满足大数据V3特征的平台。（2）企业就绪，即要同时满足性能、安全性、实用性和可靠性要求。（3）集成性，很方便地快速将大数据技术，引入企业，能和企业原有的信息系统方便集成。（4）基于开源系统。（5）鲁棒性和容错性。（6）可伸缩性。（7）可扩展性。（8）维护简单。

3、大数据带来的新机会。数据的力量和价值还远远没有为我们充分认识。数据既是原材料，也是资产，通过交换，可以变成黄金，而这里软件是关键。大数据和大数据分析是我们一次难遇的产业机会。

 （出处：《软件产业与工程》2013年第4期）