基于Rack模型的分布式存储系统研究开题报告
2020-02-18 18:10:50
1. 研究目的与意义(文献综述)
1.1目的及意义
近年来,随着日新月异的新一代信息技术的发展,以及计算机在不同领域的普及以及应用,社会各行各业每天所产生的数据量以指数级的速度快速增长,例如淘宝每天产生的数据量超过50tb,百度公司每天处理数据量更是达到惊人的pb级,google、facebook和amazon等公司应用产生的数据量更是达到pb甚至eb级。如何安全便捷的管理和使用海量数据成为各企业it部门的一个首要问题,传统的存储方式成本过高、效率低下,无法满足用户需求的增长速度,因此它们将被新的高效智能的存储方式所取代,大规模分布式存储系统也因此应运而生。
分布式存储技术可以通过多种方式实现,一种典型的实现方式就是分布式文件系统,而基于rack模型的分布式存储系统更是被大部分的公司所采用。分布式存储系统主要由如下几个特征:高性能、高可靠性、高可扩展性、透明性、自治性。在分布式存储系统中,数据通常需要先进行分片切割处理,然后再将分片处理后的数据块通过某些特定的数据存放策略,将数据分散地存储到系统中不同的存储节点中。由于完整的数据被切割分成了多个数据块,任何一块数据的丢失或者错误,都将影响用户数据读取的完整性和正确性。因此,分布式存储系统必须考虑合理的冗余存储模型,为每个用户的数据块提供多个冗余存储副本,以保证数据存储的可靠性和安全性。与集中的数据存储方式相比,分布式存储系统海量数据被存储在分布于不同地理位置的存储节点,充分利用存储网络的可用存储空间,同时降低数据被非法获取的可能性,提高存储系统的安全性。然而分布式存储系统中的单个存储节点并不可靠,通常容易发生数据失效和异常,对数据的可靠性服务造成影响。所以,本课题针对数据容易发生错误这一特点,研究如何设计适用于rack模型的节点修复机制、rack修复机制和数据重构机制,在基于rack模型的分布式存储系统中,优化存储开销、修复带宽等重要系统性能参数,提升用户数据的完整性和可靠性。
2. 研究的基本内容与方案
2.1研究的基本内容
本课题主要研究如何设计适用于rack模型的节点修复机制、rack修复机制和数据重构机制,并通过软件仿真分析系统的性能。
2.2研究目标
3. 研究计划与安排
(1)第1-3周:查阅相关文献资料,明确研究内容,了解研究所需的理论知识。确定方案,完成开题报告。
(2)第4-5周:熟悉掌握基本理论,完成英文资料的翻译,熟悉相关工具软件的使用。
(3)第6-9周:设计系统节点修复、rack修复和数据重构机制。
4. 参考文献(12篇以上)
[1] 孙文庆, 郁文清. 超融合分布式存储架构在中移互联网资源池中的应用[j]. 移动通信, 2018, 42(7): 29-33.
[2] zhang m, han s, lee p c. a simulation analysis of reliability in erasure-coded data centers[c]// international symposium on reliable distributed systems (srds). ieee, 2017: 1-7.
[3] sohn jy, choi b, yoon sw, et al. capacity of clustered distributed storage[c]// international conference on communications. ieee, 2017: 144-153.