异构分布式存储系统的建模与优化研究文献综述
2020-04-14 17:19:37
在过去的几年中,云存储服务已经得到了极大的普及与推广,为用户提供了多样的数据服务[1,2]。随着云存储服务的用户数量与日俱增,用户对于云存储系统的要求也越来越明确:高效、稳定。想要满足用户的服务要求,可以通过向网络增加新的存储节点来提升分布式计算能力。然而在实际的分布式存储系统中,由于各个存储节点和连接各个存储节点的通信链路在性能上存在差异,若是缺乏有效的配置方法,不仅无法有效提升服务质量,还会导致不能充分利用系统资源,造成极大的浪费。想要在满足用户服务要求的同时尽量减少系统资源的浪费,优化异构分布式存储系统,可以对异构分布式存储系统的性能指标例如存储开销、修复开销、I/O开销等进行理论优化和仿真实验。
随着分布式存储系统逐渐成为解决复杂应用问题的有效工具[3-5],目前有诸多国内外研究人员对其进行了研究分析,如:刘飞等[6]针对Ceph分布式存储系统提出了一种面向异构存储的数据放置方法,根据数据的热度和读写比例为不同的数据选择不同的副本组合,在提升系统性能的同时有效地控制系统的存储开销。屠要峰等[7,8]提出了一种自适应的任务调度技术,解决了前后端任务的资源平衡问题并提出了一种多级热度的缓存替换技术,解决了前端任务之间间的资源平衡问题。孙浩[9]提出了一种基于内存使用度预测的任务分配机制,根据计算存储节点的内存使用历史数据来预测将来的使用状态进行任务分配调度。在内存压力较大时通过减少任务的分配来降低内存的压力,并且通过对内存使用度的阈值进行设置以实现更加灵活的任务调度。胡力文等[10]提出了一种异构环境下考虑非均质性的最小冗余分布式云存储系统构建方法,并提供了一个简单的迭代算法来确定保证不同存储应用程序的数据可用性所需的最小冗余。于泉等[11]提出了一个具有存储开销和下载开销的分布式存储系统异构模型,并建立了系统存储开销和系统修复开销之间的基本权衡。还有一些研究人员[12-15]通过优化编码等方式对分布式系统的性能进行了优化。
在上述研究工作中,已经从多个方面对异构分布式存储系统的优化方法进行了研究,但是关于如何对异构分布式存储系统建模以及如何对该模型的存储开销、修复开销和I/O开销进行优化还没有一个一般性的结论,需要继续探究。所以本课题将针对异构式分布存储系统,建立数学模型,并对其性能指标例如存储开销、修复开销、I/O开销等进行理论优化和仿真实验。
{title}
2. 研究的基本内容与方案
{title}课题的研究内容主要包括三个方面:
(1)确定要使用的异构分布式存储系统模型,并利用Matlab完成异构分布式存储系统的异构模型的实现。
(2)根据之前建立的异构分布式存储系统模型,进行理论分析,研究各存储节点以及通信链路的异构性对于分布式存储系统的重要性能指标,例如存储开销、修复开销、I/O开销等,的影响,并对其进行优化。
(3)用Matlab对异构分布式存储系统进行系统仿真测试,分析系统性能受存储节点以及通信链路异构性的影响,尝试进行优化,并与理论结果进行比较。
课题的研究方法:
(1)文献研究法:通过图书馆、电子阅览室、中国知网等查阅资料,确定最终要使用的异构分布式存储系统。