摘 要

大数据作为当代信息技术产业的核心产物，它在设备的故障识别和安全评价领域中的应用存在巨大的发展潜力。所以本文结合大数据挖掘方法，从数据库开始对起重机服役过程中产生的海量数据进行分析。结合起重机数据的特点，提出了相应的数据预处理方法。在了解大数据挖掘方法的基础上，论文采用了一种改进的CFP-Growth算法挖掘起重机数据中潜在的价值，得到数据间感兴趣的关联规则。继而将人工神经网络与之相结合，采用Keras框架的序贯模型，在对其进行训练后，以岸桥数据为例完成起重机安全评估并验证了结果的准确性。

关键词：大数据；预处理；关联规则挖掘；安全评估

Abstract

As the core product of the contemporary information technology industry, big data has great potential for development in the field of equipment fault identification and safety assessment. Therefore, this paper combines the big data mining method, analyzes the massive data generated during the crane service process from the database, and combines the characteristics of the crane data to propose the corresponding data preprocessing method. Based on the understanding of big data mining methods, the paper uses an improved CFP-Growth algorithm to mine the potential value of crane data, and obtain the association rules of interest between data. Then the artificial neural network is combined with it. In this paper, the sequential model of Keras framework is adopted. After training it, the crane safety assessment is completed by taking the shore bridge data as an example, and the accuracy of the results is verified.

Key Words：Big data; Data processing；Association rule mining；Security assess

目 录

第1章 绪论 1

1.1 课题研究背景及意义 1

1.2 国内外研究现状 2

1.2.1 起重机安全评估研究现状 2

1.2.2 大数据安全评价技术研究现状 4

1.3 当前研究现状 7

1.4 研究内容 7

第2章 起重机大数据理论体系与数据预处理 9

2.1 起重机安全评价大数据体系 9

2.1.1 起重机大数据的分类与来源 9

2.1.2 大数据体系的建立 11

2.2 数据预处理 12

2.2.1 重复数据处理 12

2.2.2 缺失数据处理 13

2.2.3 噪声数据处理 15

2.2.4 异常数据处理 16

2.3 本章小结 17

第3章 基于随机森林算法的起重机数据关联规则挖掘研究 18

3.1 经典关联规则挖掘算法比较 18

3.1.1 Apriori算法 18

3.1.2 FP-Growth算法 21

3.2 基于多最小支持度的关联规则挖掘改进算法 23

3.3 CFP-Growth 算法在起重机数据关联性分析中的应用 27

3.3.1 数据准备 27

3.3.2 起重机数据挖掘 28

3.4 本章小结 29

第4章 基于神经网络的起重机安全评估的实现 30

4.1 神经网络模型的选择 30

4.1.1 人工神经网络分类的优越性 30

4.1.2 模型选择 31

4.2 数据准备 33

4.3 起重机安全评估的实现 36

4.3.1 Python代码实现 36

4.3.2 准确性分析 38

4.4 本章小结 40

第5章 总结与展望 41

5.1 总结 41

5.2 展望 41

参考文献 42

致 谢 44

绪论

课题研究背景及意义

近年来，起重机械设备在工业、交通运输业与建筑领域出现的频率越来越高，给人们的工作带来了极大的便利，其最大的优点就是将人们从繁重的体力劳动中解脱出来并大大提高了劳动生产率。起重机械已经发展成为了现代生产中不可或缺的辅助机械，在我国的经济建设与发展中扮演着举足轻重的角色。而它身为一种间歇式运动的机械设备，可以完成有限范围内的货物起吊、运送以及卸载的工作，所以它在大型货物的搬运、道路桥梁的建成、高层建筑的施工作业等方面得到了广泛的应用，实现了生产过程中的机械化、自动化，极大程度上地节约了人力、物力。

而起重机作为国家八大类特种设备之一，它自身复杂的结构性质和危险的工作环境要求使得其作业过程中造成事故伤害和人员伤亡居八大特种设备之首，在起重机的实际使用过程中，难免会由于种种意外抑或由于寿命原因发生种种故障。而起重机庞大的结构设计决定了它的作业过程往往是复杂危险而且必须在大范围内实现，所以一旦发生事故，影响面积也会随之增大，轻则造成一定的经济损失，严重时可能会造成灾难性事故，例如起重机主梁断裂、支腿断裂造成的坍塌等，除了无法弥补的经济损失甚至会造成巨大的人员伤亡，形成十分恶劣的社会影响。由于起重机械结构复杂、工作空间范围大、工作环境恶劣且负载大，因此，对其安全状况的评估与监测就要有更加严格的要求。

长期以来，起重机械设备的安全检测大都是采用强制性制造监检、安装监测和人工定检的途径来评测起重机是否存在安全隐患，但是，由于目前的自动化水平低，检验周期过长，检验数据有限，起重机的安全检测依然具有很大的局限性，无法确保检测结果安全有效。

近年来，云计算、物联网以及社交网络的飞速发展，使得日常生活中所携带的数据量和种类得到了急速增长，发生了质的变化。在全球范围内，个人电脑、平板电脑、智能手机等常见的计算终端，包括更广阔的、泛在互连的智能设备都不断连接到网络之中。而基于社会化网络的平台和应用，让数以百亿计的机器、企业、个人随时随地都会获取和产生新的数据，也使数据的积累呈爆发式增长，这些数据的保存积累形成“大数据”。大数据时代已经到来，大数据涉及到几乎所有的领域，并对政治、 经济、教育、医疗以及整个社会带来巨大的变革。

而伴随着传感器技术及计算机技术的日渐成熟，将新型传感技术、远程通讯技术及信号分析与处理技术等应用到起重机监测中，将大量的传感器设备安装在起重机预定的各个测点上，便可以收集到起重机的各类数据如应力、振动、挠度、温度等，并传回到数据中心进行存储，利用数据分析技术对数据库数据进行处理、关联挖掘等操作，利用数据间隐藏的规则，达到实时监测、预估起重机的结构状态，保障起重机的安全可靠运行。由于起重机上需要监测的测点多，每个测点的采样频率高，从开始服役到寿命终止的数据收集历时长，将产生巨大的监测数据，对数据处理的性能要求越来越高。