摘 要

随着生物信息领域的高速发展，高通量测序技术已成为主流，生信数据量爆炸级增长，如何存储和管理这些数据并将它们用于计算分析将成为一个问题。本文旨在设计一个混合云存储管理应用，用以高通量生物数据的存储及管理，为数据后期的分析与计算提供良好的基础。

本平台的功能包括基本的文件上传、下载、导入、导出、移动、重命名等文件常用操作，同时还有文件分享，文件注释等生信领域功能。在混合云存储方面，本平台在存储模式上使用虚拟化技术，优化了存储稳定性。私有云使用安全的磁盘阵列存储模式，公有云使用迎合私有云存储方案的BOS存储，可以方便的进行数据迁移等云间交互。同时，本平台对用户操作及系统状态全程使用日志进行监控，真正做到时刻掌控数据变化情况。

关键词：云平台；混合云；高通量文件管理；云存储；云监控

Abstract

With the rapid development of bioinformatics, high-throughput sequencing technology has become the main aspect. because of the data explosion, how to store and manage these data and then use them for calculation and analysis will become a problem. The purpose of this paper is to design a hybrid cloud storage and management application, which will be used to store and manage high-throughput biological data for providing a good foundation to their analysis and calculation.

The functions of the platform including the basic file upload, download, import, export, move, rename and other commonly used operations. And file sharing, file annotation, and other functions of bioinformatic. In the aspect of hybrid cloud storage, the platform uses virtualization technology to optimize the storage stability. RAID is used to secure private cloud, and the public cloud use the BOS with same scheme to private cloud, which is convenient for migrating of data during the clouds. At the same time, this platform will monitor all users' operation by logs, which is always aware of the changes of data.

Key Words：cloud platform; hybrid cloud; High-throughput file management; cloud storage; cloud monitoring

目 录

第1章 绪论 1

1.1 背景介绍 1

1.2 国内外研究现状 1

1.3 课题研究内容 2

1.4 论文组织结构 3

第2章 系统逻辑架构 4

2.1 文件操作模块 4

2.1.1 逻辑功能设计图 4

2.1.2 文件记录数据库设计 4

2.1.3 文件相关操作执行逻辑说明 5

2.2 用户操作及界面模块 7

2.2.1 逻辑功能设计图 7

2.2.2 用户操作介绍 7

2.3 管理员操作及界面模块 8

2.3.1 逻辑功能设计图 8

2.3.2 管理员操作介绍 9

2.4 日志监控模块 10

2.4.1 逻辑功能设计图 10

2.4.2 日志记录 10

2.4.3 日志查询 11

2.5 系统部署模式 12

第3章 混合云存储模式 13

3.1 存储虚拟化 13

3.2 服务器存储（私有云） 15

3.2.1 文件上传及下载 15

3.2.2 文件中转站 15

3.3 BOS存储（公有云） 17

3.3.1 迎合私有云的BOS存储 17

3.3.2 文件上传及下载 18

3.4 云间交互 19

第4章 文件注释 20

4.1 新增注释类型 21

4.2 文件注释修改及删除 22

4.3 文件注释检索 23

第5章 文件分享 25

5.1 分享文件及分享状态更新 25

5.2 分享文件下载、备注、复制及删除 26

第6章 系统功能界面展示 30

6.1 文件操作模块 30

6.2 用户操作及界面模块 35

6.3 管理员操作及界面模块 37

6.4 日志监控模块 38

第7章 结论与展望 40

7.1 结论 40

7.2 展望 40

参考文献 42

致谢 43

第1章 绪论

1.1 背景介绍

随着生物信息学的高速发展，大量的生物数据被用以分析生物问题，这无疑对数据的存储和计算能力提出了更高的要求。云计算是一种通过虚拟化技术将存储和计算任务合理分配到大量计算机构成的资源池上的商业计算模型，它通过网络按需提供资源，并拥有很强的可扩展性。相比之下，传统的存储和服务器等设备耗资巨大，维护成本过高，重复利用率低下。由此，用户对硬件设备乃至软件的使用可以由以往的全额购买演变为按需租用，这避免了大量资金与管理成本的投入。

常规云计算服务根据类别可分为公有云和私有云。私有云具有很强的独立性，能充分利用各项资源提供定制化的服务，数据安全性好，服务质量保障高。但相对的，这种性能好、针对性强的资源总量有限，且成本高昂，难以扩展。而公有云则是以一种平台的形式展现，对接入的客户按需提供可动态伸缩的各项资源服务，在需要资源时随时申请，使用后立即释放，对设备要求宽松，易于扩展，价格低廉，是普及化的云服务。但由于其资源的动态性，很多用户难以放心将核心数据存储在这种公共平台上，总数据迁移而造成的传输带宽开销也高，总体效率低下。在如此矛盾的背景下，混合云模型脱颖而出。

混合云计算是联合私有云和公有云的一种资源部署方式。它将关键信息与敏感数据存储在私有云上，而将应用程序放在公有云中，并且让其中的业务逻辑和信息交互跨越公有云和私有云。这种方法利用了私有云的高可靠性、公有云的高可扩展性并将他们以能够消除对方缺陷的方式结合在一起，构建出具有动态扩展性、高可用性的资源中心和计算中心，形成了混合云的应用模式。用户不必担心核心数据因资源变更而丢失，并可以随时引入新的廉价资源来进行动态任务计算，使用完毕后可以随时释放供他人使用以提高重复利用率。无论从哪一个角度来看，信息化投资的成本都被大大节省了。

1.2 国内外研究现状

随着企业对云计算隐患的思考以及对单调使用私有云/公有云优缺点的综合分析，混合云研究是近来的一个热门话题。

购票网站12306早年一直采用自己的数据中心提供购票，查询等服务，在春运，节假日等高压时段，服务器多次崩溃。后来官方采取私有数据中心与阿里公有云相结合策略，在用户访问高峰期租用阿里云的服务器来对超出私有数据中心容量部分的用户数据进行存储和管理，使用最低的成本有效的解决了问题。这就是一个典型的混合云架构。

在生物信息领域，由于高通量测序技术的发展，基因数据分析云平台变得火热起来。华大基因公司基于阿里云的混合云架构方法，发布了一款基因组数据分析云计算平台服务产品—BGIOnline，该产品解决了公司内部客户高速低延时的数据传输需求，降低了数据存储与分析计算成本。该平台仅用不到22小时的时间就完成了总数据量达2TB的1000份人类全基因外显子组数据的测序。研究者认为：如果使用1977年首次全基因组测序的方法来对人类进行全基因组测序，耗时将超过一百万年。由此可见，混合云架构手段将全基因组测序技术从高成本的科研领域引入了普及人类生活的临床领域，为生命科学、生物产业的发展提供了持续增长的强劲动力。

国外的混合云研究关注点通常在可扩展性，成本降低，灾难恢复手段，业务连续性的确保等，具体实例包括：