摘 要

大量3D打印机接入网络服务平台时，会所产生大量的数据，怎样在该环境下实现对数据的高效存储和处理显得十分重要。针对这一问题，本文设计了一种基于Hbase的数据存储处理系统方案，为实现智能制造、3D打印数据存储、云服务等提供有益的参考方案和思路。完成存储系统软件的相关设计，并测试。主要完成工作如下：

（1）大容量数据存储处理系统的研究。分析大容量3D物联数据存储的基本要求，通过对Hadoop分布式集群以及HBase数据库掌握，了解数据存储方法流程，并在此基础上进行优化设计，扩展系统功能。

（2）大容量3D打印信息存储设计。分析数据存储格式以及检索的需求，对存储系统进行设计，包括数据存储模块以及数据检索模块。

关键词：3D打印物联数据；Hbase；分布式存储；大数据

Abstract

When a lot of 3D printers are connected to the network service platform, the club will produce a large amount of data, so it is very important to realize efficient data storage and processing in this environment. To solve this problem, this article plan a data storage and disposal system scheme based on Hbase, which provides useful reference schemes and ideas for intelligent manufacturing, 3D printing data storage and cloud services. Complete the design and test of storage system software. The main tasks are as follows:

(1) research on large-capacity data storage and processing system. Analyze the basic requirements of large-capacity 3D matter-linked data storage, understand the data storage method process through mastering Hadoop distributed cluster and HBase database, and optimize the design and expand the system functions on this basis.

(2) storage system design. Analyze the data storage format and retrieval requirements, and design the storage system, including data storage module and data retrieval module.

Key Words：3D printing of linked data; Hbase; Distributed storage; Big data

目 录

第1章 概 述 1

1.1 论文背景及意义 1

1.2 国内外现状 1

1.3 研究内容 2

第2章 大容量3D打印信息存储的总体方案设计 4

2.1 总体方案设计 4

2.2 Hbase数据库 5

2.2.1 Hbase体系结构 5

2.2.2 Hbase数据模型 6

2.3 开发环境及工具 7

2.3.1 Eclipse开发工具 7

2.3.2 Hbase API 7

2.4 分布式集群 8

第3章 系统方案设计 9

3.1 HBase存储模块设计 9

3.1.1 数据接收层 9

3.1.2 行键（RowKey）的设计 10

3.1.3 列族（Column Family）的设计 10

3.2 HBase数据检索优化设计 10

3.2.1 HBase存储宽表结构设计 10

3.2.2 HBase过滤器（filter）设计 11

3.3 本章总结 13

第4章 系统实现与测试 14

4.1 测试的环境 14

4.2 数据存储的实现 14

4.3 数据查询检索的实现 15

4.4 方案测试 17

4.4.1集群与单机性能对比 17

4.4.2 系统性能测试 18

4.5 本章总结 18

第5章 总结与展望 19

5.1 总结 19

5.2 展望 19

参考文献 20

致谢 22

第1章 概述

1.1 论文的背景及意义

随着3D打印的快速发展以及大数据时代的到来，智能制造的概念逐渐成为主流。德国的“工业 4.0”、中国制造 2025 等一系列计划地接连提出，给各个国家的经济、就业、创新提供了无限的可能。智能制造在国家标准与技术研究所中被定义为一个具有完全集成的协同制造系统，能够实时响应工厂、供应网络和客户需求的不断变化的需求和条件^[1] 。

为了实现智能制造，对3D打印的制造资源进行更有效的利用，我们将3D打印所需的打印等数据通过互联网传输，在cloud上提供3D打印服务^[2]。而在3D打印机接入互联网之后，将产生大量的数据。这时我们就需要应用到大数据技术，大数据也称巨量资料，是一种必须使用新处理方法才可拥有的强大决策力、洞察力与流程优化能力的大容量、高增长率与多样性的信息资产^[3]。在处理这些数据的过程中，由于大数据计算规模需求逐渐增大，数据存储需求也逐渐增长，普通传统的集成式大数据存储系统并不能够合理均衡存储服务器负载情况，这在一定程度上将会导致系统整体的存储效率大大降低低，甚至会出现系统崩溃状况^[4]，如此这些，就对数据的存储处理提出了一个巨大的挑战。

本文针对这个问题，对大量3D打印机接入网络服务平台所产生的大量数据存储进行研究。设计基于Hadoop的数据存储处理系统，实现对大量3D打印信息数据的可靠、安全存储。

1.2 国内外现状

世界范围内，对于大数据的研究发展已有了一定的积累和沉淀，该技术不仅在学术研究方面取得一定的进展，并且在实际生产中也有了广泛的应用，目前在一定程度上，已经实现和相关企业领域的结合。大数据的几个特征：数据体量大、数据类型繁多、数据处理速度快、数据可价值化^[5]。

国外关于大数据技术以及智能制造等方面的研究要早于我国。目前，国外已经建立了较为完整的产业链及相对全面的大数据产业格局。并将该技术与传统行业进行了结合，提出了“工业4.0”等战略。以电子商务为核心的网络经营模式带动了3D打印在线模型销售体系，实现了虚拟模型设计，个性化定制，模型打印制作的结合^[6]。美国的创意公司Quirky、比利时Materialise公司、荷兰Shapeways公司等公司，通过创意服务、创意设计、产品定制等策略，取得了一系列的成功，带来了巨大的利润^[6]。