基于纠删码的分布式存储系统研究文献综述
2020-04-14 17:19:02
信息时代,随着互联网技术的进步和智能设备的普及,海量的信息资源需要被存储和提取,存储系统作为数据生态链的源泉,越来越受工业界和学术界的重视,相对于单机存储系统小规模的存储量,大规模的分布式存储系统提供了更大体系的数据存储。分布式存储系统将数据分散存储在网络中由廉价个人计算机组成的节点上,并通过一些冗余数据策略在节点中存储一定的冗余数据,以此来保证系统的可靠性和稳定性。目前,主要有两种冗余数据策略:基于复制的冗余策略和基于纠删码的冗余策略。基于复制的冗余策略虽然简单,但存在节点的利用率不高、造成资源的浪费等缺点。相比之下,基于纠删码的冗余策略因能够有效的减少存储系统的存储开销而被广泛的应用在分布式存储系统中。因此,研究分布式存储系统中基于纠删码的冗余策略对于海量数据存储具有重要意义。
而随着存储系统规模的日益增大,存储节点故障已经成为一种常态而绝非偶然。如何有效保障数据存储的可靠性成为了当前分布式存储系统迫切需要解决的问题。纠删编码最早起源于通信传输领域,通过对传输信息进行变换再进行传输,以解决数据传输中数据丢失/损耗这一问题。由于纠删码具有防止数据丢失的特性,研究者将纠删码引入存储领域,相对于传统的复制编码,纠删编码具有高存储效率和容错能力,在大规模存储中具有突出优势,为海量数据存储提供了高效编码方法方案,并且已经在一些实际的存储系统中得到了应用,如GFS, Amazon S3等。
目前,国内的纠删码存储研究主要集中于磁盘阵列与阵列编码两个分支上,如中国科学院研究生院提出类纠双错MDS阵列纠删码(V码) [6];南开大学对大规模磁盘阵列下多容错编码方法进行了研究[7];西北工业大学设计了一种容三错RAID布局(TP-RAID) [8];国防科学技术大学为大规模存储系统设计了一种高容错低修复成本的编码EXPyramid[9];中国科技大学为RAID-6存储系统提出一种最优行对角校验恢复方法(RDOR),以最少磁盘读来完成单盘重构[10];清华大学对磁盘阵列的容错编码技术进行了研究,分别为RAID-6和大规模磁盘阵列设计了C码和GRID码[11];并提出一种RAID扩容方案FastScae[12]。而纠删码存储集群相关研究主要集中于国外大公司,这些大公司为各自大规模存储系统产品提供设计方案和优化方案。例如,Google在其GFS文件系统中添加了RS码支持[13];微软研制的Azure云存储系统也支持RS码[14],此外其研究团队在RS码基础上设计了具有重构优化特性的局部修复码[15]。
{title}2. 研究的基本内容与方案
{title}2.1.基本内容:
(1)研究纠删码的原理及编解码算法,了解RS纠删码和阵列纠删码,分析纠删码技术在存储系统中的优势。
(2)设计并实现一种基于纠删码的分布式存储系统模型。
(3)构造具有低计算复杂度、多容错功能的纠删码。设计丢失的编码块的修复模型并进行系统优化,减小数据修复的带宽消耗。
2.2.目标:
利用纠删编码进行分布式网络存储,构造计算复杂度低的多容错纠删码