大数据平台技术综述
宫夏屹 李伯虎 柴旭东 谷牧
摘要:随着新一代信息技术的飞速发展,大数据平台技术已成为现代建模仿真领域的重要支撑技术之一。结合大数据研究和应用现状,提出了大数据平台的体系架构,并对平台应用模式、大数据应用标准、大数据存储、大数据分析处理以及大数据平台相关技术进行了研究和综述,最后,对大数据平台的研究和应用发展方向进行了展望。
关键词:大数据;平台;体系架构;应用模式
总结:1、大数据平台面临的挑战。主要有:(1)大数据采集问题(2)大数据存储问题(3)大数据管理问题(4)大数据分析处理问题()大数据领域应用问题。
2、大数据平台涉及的关键技术。构建一个能够有效支撑大数据应用的平台,需要着重考虑大数据平台体系架构、大数据建模与存储管理、大数据分析处理以及大数据应用等几项关键技术。其中,大数据平台在逻辑上表现为一种层次架构,自上而下包括应用层、门户层、服务层、感知/接入层和资源层。而相关的标准、规范和安全机制贯穿所有层次。
3、大数据研究的结论与大数据应用展望。(1)结论:大数据的研究应用已逐步成为一项数据工程,研究跨领域、跨平台的大数据的应用急需一个新的平台来支撑全生命周期内大数据采集、存储、管理和分析处理等活动;当前跨领域、跨行业的数据共享仍存在大量壁垒,是后续大数据平台的一个重要发展方向之
一;如何优化大数据平台的分析处理过程,更快、更绿色地实现大数据的分析应用,支持各种先进处理分析方法和理念的智能化和快速融入,是需要着重发展的方向之一;大数据平台具有很强的开放性和包容性,支持“数据即服务”的应用模式。
(2)应用展望:本文提出的大数据平台能够面向多领域应用,能够在电子商务、公共安全、电信、仿真等领域发挥巨大作用,具体而言,面向公安、智能交通领域构建领域大数据平台,将承载以下应用:视频数据智能分析、智能交通应用、公安大数据仿真应用。
(出处:《系统仿真学报》2014年3月第26卷第3期)