基于HBase的多参数分布式数据分析系统设计开题报告
2020-04-15 20:31:55
1. 研究目的与意义(文献综述)
互联网技术的飞速发展带来了数据的指数级增长,在气象、遥感、地质灾害监测等特殊行业,传统技术已经无法按照业务效率要求去实时、安全、可靠、高效地处理海量数据。
近年随着各种需要监测的工业的快速发展,监测覆盖范围越来越广,监测数据种类越来越多,收集频率越来越高,已有的传统系统架构对于这些不断增加的海量数据的存储服务,出现系统负载饱满、读写性能不理想的瓶颈问题。另外,传统的方法通过提高系统平台处理能力、购置更高端的设备来提升系统的计算和存储能力,这种系统垂直扩展的方式存在硬件成本高、存储效率低等缺点。
面对海量和复杂的空间矢量数据,如何对其进行高效存储、管理与发布,已成为一个迫切需要解决的问题。而以hadoop为代表的水平扩展类的分布式架构的解决方案越来越成熟,同时 hadoop 作为一个分布存储和并行计算的平台,能支持数据的高吞吐量、高容错性、高并发、高可靠性和低成本的特征,成为海量数据存储管理的发展趋势和热点之一。因此考虑利用 hadoop 技术来解决海量数据存储检索所面临的问题。
2. 研究的基本内容与方案
主要内容有以下几个方面:
1. 海量多要素数据快速入hbase库的方案设计;
2. 数据快速索引的辅助模块设计。
3. 研究计划与安排
(1)第1-3周:查阅相关文献资料,明确研究内容,了解研究所需理论基础。确定方案,完成开题报告。
(2)第4-5周:熟悉掌握基本理论,完成英文资料的翻译,熟悉开发环境。
(3)第6-9周:编程实现各算法,并进行仿真调试。
4. 参考文献(12篇以上)
[1] 陆婷, 房俊, 乔彦克. 基于hbase的交通流数据实时存储系统[j]. 计算机应用,2015, 35(1):103-107.
[2] 陈东辉, 曾乐, 梁中军,等. 基于hbase的气象地面分钟数据分布式存储系统[j].计算机应用, 2014, 34(9):2617-2621.
[3] 任丕杰. 电气设备状态监测及故障诊断系统的构建[j]. 电子技术与软件工程,2016(24):190-190.