摘 要

现如今，主机（Mainframe）的用处越来越广泛，在绝大多数大型动力设备的日常运作中都起到了关键性的作用。而随着互联网飞速发展，大数据时代的到来，各大企业面临这如何更加快速有效地存储和分析主机运行产生的海量数据，以对主机的运行状态进行预测，维护及管理。

本文以主机为对象，针对其运行过程中所产生的数据多样化，复杂性以及海量性等特点，进行了主机运行维护管理平台的方案初步设计。在技术方案上主要涉及物联网数据采集，时间序列法预测模型以及主流的Hadoop大数据处理技术。本文的主要设计思路如下：

首先是主机运行维护管理平台的功能需求分析。平台的功能需求主要包括主机运行的实时监测功能、主机运行异常的预警决策功能以及主机运行实时数据的存储与分析功能。

其次是基于大数据的主机运行状态预测模型的建立。本文采用时间序列预测模型，先从时间序列预测模型的特点入手，介绍了传统的时间序列预测法，再介绍了基于参数模型的时间序列预测模型和基于神经网络的时间序列预测模型，并对两种方法作了简单的比较。

最后是基于大数据的主机运行维护管理平台的初步设计。平台分三个部分进行设计，分别是平台总体功能设计、平台数据库设计以及平台初步设计，对平台进行了初步框架的构建。

关键词：大数据；主机；维护管理平台；Hadoop

Abstract

Nowadays, mainframe is more and more widely used,and plays a key role in the daily operation of most large power equipment. With the rapid development of the Internet and the arrival of the era of big data, major enterprises are faced with how to store and analyze the massive data generated by the host more quickly and effectively in order to predict, maintain and manage the running status of the host.

In this paper, the mainframe is taken as the object of study. According to the characteristics of data diversity, complexity and mass produced during its operation, a preliminary design of the mainframe operation and maintenance management platform is carried out. In the technical scheme, it mainly involves data acquisition of the Internet of Things, time series prediction model and the mainstream Hadoop large data processing technology. The main design ideas of this paper are as follows:

Firstly, the functional requirements of the mainframe operation and maintenance management platform are analyzed. The functional requirements of the platform mainly include the real-time monitoring function of the host, the early warning and decision-making function of the host's abnormal operation, and the storage and analysis function of the real-time data of the host's operation.

Secondly, the prediction model of host running state based on large data is established. In this paper, time series forecasting model is used. First, the characteristics of time series forecasting model are introduced. Then, time series forecasting model based on parameter model and time series forecasting model based on neural network are introduced, and a simple comparison between the two methods is made.

Finally, the preliminary design of the mainframe operation and maintenance management platform based on large data is presented. The platform is designed in three parts: the overall function design of the platform, the database design of the platform and the preliminary design of the platform. The preliminary framework of the platform is constructed.

Key words: big data; host; maintenance management platform; Hadoop

目 录

第1章 绪论 1

1.1研究背景及意义 1

1.1.1大数据技术的研究现状 1

1.1.2大数据运行维护平台的研究现状 2

1.2研究目标和内容 3

1.2.1研究目标 3

1.2.2研究内容 3

第2章 基于大数据的主机运行状态预测模型建立 5

3.1状态预测难点 5

3.2时间序列预测法 5

3.3基于参数模型的时间序列预测法 6

3.4基于神经网络的时间序列预测法 8

3.4实例 9

3.5本章小结 10

第3章 基于大数据的主机运行维护管理平台设计 11

4.1平台的总体功能需求分析 11

4.1.1主机运行的实时监测功能 11

4.1.2主机运行异常的预警决策功能 11

4.1.3主机运行实时数据的存储与分析功能 11

4.2平台的总体功能设计 11

4.1.1实时监测模块 12

4.1.2预警决策模块 14

4.1.3数据存储模块 16

4.1.4数据挖掘模块 18

4.2平台的数据库设计 20

4.2.1数据库逻辑关系设计 20

4.2.2数据库物理结构设计 24

4.2.3运行状态数据的规范处理 25

4.2.4基于HBase的数据存储模型 26

4.3平台的初步设计 27

4.3.1 SpringMVC框架 27

4.3.2 Hadoop与SpringMVC的整合 30

4.4本章小结 32

第4章 总结与展望 33

5.1总结 33

5.2展望 33

参考文献 35

致 谢 36

1. 绪论

1.1研究背景及意义

随着工业物联网和数据驱动技术的蓬勃发展，计算机网络能够从联网的机器中收集大量机器数据，并可以将大量机器数据转化为可执行的信息指令，从而使各行业发生了革命性的变化。而大型动力设备的安全性能预测作为机器运行的关键组成部分，已全面融入大数据革命。相比与传统的自上而下物理模型建模，数据驱动的设备安全预测系统为故障发生前的性能预测以及对未来工作条件和剩余使用寿命的预测提供了一种自下而上的新的解决方案。

一方面，随着传感器、传感器网络和计算系统的飞速发展，数据驱动的设备安全预测模型越来越具有吸引力。为了从大数据中提取有用的知识并做出适当的决策，机器学习技术则体现出了强大的解决能力。深度学习作为机器学习一个热门的子领域，可以作为连接机器大数据和智能设备安全预测的桥梁^[1]。

另一方面，对于机械设备来说，利用大数据的分析和处理技术，可以更加深刻且准确地了解到机器设备的运行状态，并可以对机械设备进行相应的维护和管理，从而及时发现甚至避免设备的故障发生，有效地增强工作环境的安全性，减少相应故障引起的种种损失^[2]。

本文从机械设备的主机出发，为了保证各类机械设备的主机在使用中能够处于健康的工作状态，并且实现相关故障的及时发现与排除，进而降低损失，对主机运行的维护与管理就变得非常重要。因此本文的目的是通过建立基于大数据的主机运行维护管理平台来对主机进行预测、维护以及管理。

1.1.1大数据技术的研究现状

在著名国际顶级学术期刊《Nature》上一篇名为“Big Data : Science in the Petabyte Erad”的文章中，首先提出了大数据的概念。大数据的主要定义是：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

最先对网页信息进行抓取的是Google，其主要解决方案分为三大核心，分别是GFS（Google File System）、MapReduce、Bigtable三大核心技术，这也成了后期Google对大数据处理技术的基础。其中GFS是作为文件存储的分布式文件系统，而MapReduce为用于大数据计算的分布式计算模型，Bigtable则为数据存储的分布式存储系统。

2009年和2011年，耶鲁大学某团队在VLDB上发表了多篇关于在数据库领域的列存储的论文，主要以HadoopDB为研究核心，后来基于Apache Hadoop项目提出了Hadapt研究，消除了数据岛问题，并使用云计算环境中的现有SQL工具来组织和分析“多层结构”数据。在这个过程中主要解决了两个问题，一是数据的加速增长问题，二是非结构化数据的爆炸问题。

紧接着Hive的破晓而出，使得利用MapReduce实现并行数据仓库。Hive是一个基于Hadoop的一个数据仓库工具，可以将结构化数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。

由于MapReduce并行计算技术发展地越来越健全，且易于对大规模数据进行高效处理，因此越来越广泛地用于各类大数据平台。

1.1.2大数据运行维护平台的研究现状

现如今，互联网越来越渗透到各行各业，我国工业管理越来越趋向于数字化和智能化，随着智能设备信息采集技术的进步，如何从海量的信息中获取有效的信息便成了一个迫在眉睫的问题。目前国内外研究人员对大数据处理技术的研究方向主要有以下两个方向：（1）如何对海量数据进行快速有效的存储和管理。（2）如何从海量数据中挖掘出有及时可用的信息指令。

林海略等人在文献[4]中设置了一个特定的架构，该架构分别从业务逻辑层与数据处理层这两个角度出发，在业务逻辑层，该架构可降低服务需求大的请求的优先级来避免对系统整体性能造成影响。而在数据处理层，该架构也能够在动态中调整各个副本之间以及副本在节点间的放置的负载分配，以及调节节点中副本的存放位置，并使其能够适应动态条件。

杨萍等人在文献[5]中，在传统的Kerberos协议基础之上，结合了公钥加密和私钥解密并存的体制，解决了在网络传输中的通过猜测口令对服务器进行攻击以及存储对称密钥时流程复杂的问题，实现了租户登录时的网络传输方面的安全性，保证了大数据平台的访问控制安全。

唐燕等人在文献[6]中在传统的RBAC的基础上，通过管理员配置LDAP信息来将xml文件中的授权信息导入系统，并基于ACL的授权机制中完成了多用户授权系统。

陈启斗等人在文献[7]中提出了一种由模型隔离层、模型管理层与模型交互层三个方面构成的平台框架，该平台框架可实现用户之间的隔离模型，并解决了多用户业务从逻辑映射到数据存储的问题。

Rosinosky等人在文献[8]中考虑了多用户属性与云计算弹性特性，提出了一种动态负载分配方式，解决了对用户转移进行优化时只考虑到单一业务的冲突问题，利用动态负载分配使得用户在系统更便于转移。

黄冠华等人在文献[9]中采用数据切割技术，设计了一个多用户管理系统，该系统基于Portlet资源管理框架，并采用Portlet复用技术，使得用户资源和系统资源可进行资源的共享和隔离。

宫夏屹等人在文献[10]中通过结合当前大数据的研究和应用现状，并对大数据平台的应用模式和标准、数据存储以及数据分析进行研究后，提出了大数据平台处理的基本体系架构。

成飞龙等人在文献[11]中针对工业现场各类传感器的间隔性采集、各类传感器采集间隔差异以及采集数据海量等特点，通过采用HBase分布式数据库，设计并实现了基于Hadoop的海量传感数据管理系统。

王淑芬等人在文献[12]中针对传统关系数据库处理技术无法适应于工业设备海量数据分析的问题，设计了一个支持运行过程数据的管理、存储、分析的基础平台。

国内外的学者对大数据在工业机器设备的应用上有着大量的研究，主要是通过对大数据采集，存储，管理以及分析挖掘的研究，设计并实现对设备的运行维护管理等操作。

1.2研究目标和内容

1.2.1研究目标

随着大数据浪潮的不断推进，将其理论应用于实践，使得常规机器转变得更加智能化便成了迫在眉睫的任务。本设计的研究目标在于

1. 建立基于大数据的主机运行状态预测模型。

在已收集的主机运行数据的基础上，通过建立预测模型来预测主机的运行状态以提前采取避免发生事故的措施。

1. 设计基于大数据的主机运行维护管理平台。

针对主机运行维护管理平台的功能需求，对需搭建的平台进行设计。

1.2.2研究内容

1. 基于大数据的主机运行状态预测模型的建立

目前，预防性维护包括基于时间的维护以及基于状态的维护。基于时间的维护意味着在任何给定时间对故障系统进行定期维护和修复，可在故障发生前对设备进行工况调节，尽可能防止故障发生。基于状态的维护是一种基于健康监控信息的预防性维护策略，如果在设备中检测到故障，才进行维护管理。然而，许多基于状态的维护都存在很多的前提假设，并且由于缺乏设备实际工作条件，因此难以预测，并不实用。本文主要介绍时间序列预测法。

1. 基于大数据的主机运行维护管理平台设计
2. 平台总体功能需求分析

主机运行维护管理的大数据平台主要有实时监控功能需求、预警决策功能需求以及运行实时数据的存储与分析需求。

1. 平台总体功能设计

主机运行的大数据维护管理平台提供现场数据的实时显示，数据的回溯与反馈，运行状态数据的挖掘，对异常工况的预警决策等功能。

1. 平台的数据库的设计

数据库的设计分为数据库逻辑关系设计、数据库物理结构设计、数据的规范处理设计，数据存储模型设计。

1. 平台的初步设计

平台通过将Hadoop与Spring中的SpringMVC框架整合，并在业务层加入MapReduce，以实现大数据的逻辑处理。

1. 基于大数据的主机运行状态预测模型建立

2.1状态预测难点

首先主机运行状态具有不稳定性，这种不稳定性体现在很多方面，从环境的扰动，到人为的非正常操作，再到主机自身组件出现问题，这些突发事件或偶然因素等的不确定性意味着系统参数会随着时间发生波动，而这种波动是否源于主机自身问题不易判断，因此一定程度上增加了状态预测的难度。

其次由于主机的组件过多，每个组件又会存在多个状态参数，这种数据规模的庞大会在一定程度上增加系统的复杂性。随着数据采样频率不断提高，这对传感器的性能要求也将提高；再者由于不同数据参数的关联性问题，使得数据维度增加，数据维度的增加将很大程度上增加状态预测的难度。

2.2时间序列预测法

时间序列分析是应用性概率统计学科中的一个分支，在机械振动、金融经济、信号处理和气象水文等领域有十分广泛的应用。通常来说，时间序列是一组按时间间隔为基准的随机变量，是在相等的时间间隔内以给定采样频率采集一系列数据的结果。时间序列数据一般是一系列对应于时间的数据，简而言之，以用于观察实际时间数据，并且在所有实际应用中几乎不切实地生成当前时间序列数据。

本文针重点讨论时间序列预测法。时间序列数据反映了从根本上随时间变化的任何或所有随机变量的趋势，时间序列预测问题的关键是从数据中提取这种规则来估计未来数据。因此时间序列预测模型具有以下特点：

1. 时间数据之间的关联性

这个特征表明历史数据已经暗示了当前或未来数据的发展变化规律，如趋势、周期性以及异常等。趋势反映了较长时间段的时间序列的方向，其可以在相对长的时间段或稳定趋势中几乎连续地向上或向下表示。周期性反映的是由受各种周期性因素影响的时间序列形成的某种变动的波浪形或振荡式变化。异常反映了受各种紧急情况和意外因素影响的非趋势和非循环不规则时间序列变化。

1. 时间序列的稳定性和不稳定性

时间序列的稳定性意味着时间序列的均值和方差在不同时间没有系统地改变，而不稳定性意味着均值和方差将随时间变化。换句话说，时间序列的稳定性确保了时间序列的基本特征不仅存在于当前时刻而且存在于未来中。

1. 时间序列数据的规模持续增大

由于各类传感器的不断发展以及数据存储能力的提升，并且数据采集量也不断增加，时间序列的长度也在增加，因此时间序列越来越不可以只单独考虑某一维度，多维时间序列是一个必然的发展趋势。

时间序列预测法有很多种类，包括传统的时间序列预测法、基于参数模型的时间序列预测法以及基于机器学习的时间序列预测法，本文仅从参数模型和机器学习中的神经网络两个方面进行相关分析。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：