论文总字数：30124字

摘 要

传统的工作装置位姿检测通过角度传感器、位移传感器、光电编码器、热敏电阻等实现，但陀螺仪型传感器价格昂贵，且需要多个陀螺仪，传感器间需要进行同步，众多的传感器间之间的资源共享和整合处理理论上来说是很复杂并且存在很大的不确定性。 而传统的电位计型角度传感器虽然价格便宜，但安装不便，且安装后系统线路繁杂，容易对工作装置的运动产生影响。

本课题通过视觉成像系统和非接触的传感器获取工作装置所在的任务环境中工作装置的特征信息，通过实时图像反馈对工作装置的位置和姿态进行调整，以达到期望的目标位姿或适应环境的变换，以完成目标操作任务。

首先，运用将识别挖掘机位姿状态的最为关键的四个节点用亮白色圆形卡片标记法，先进行图像灰度化处理，第二步设定筛选阈值将灰度图像转换为二值化图像，用于分离出这四个关键节点，最后建立一个合适的直角坐标系进行输出节点坐标。

但是由于挖掘机在工作时周边环境的干扰，出现类似的亮白色圆形区域是在所难免的，故为了提高图像识别的准确度，现将亮白色圆形卡片换为黑底白字的数字卡片。运用BP神经网络算法，进行数字识别。首先对采集到的图像进行预处理，接着训练数字样本，实现带噪图片与标准图片的数字识别功能。最后，运用基于相关度的模板匹配算法，用数字图像作为子模板样本，匹配原图中的数字位置，得到准确的节点坐标位置，进而建立平面直角坐标系，解相关三角形，得到力臂、斗杆、铲斗三段之间的偏角关系，以实现实时挖掘机三段臂的位姿识别。

关键词：挖掘机 位姿识别 数字图像处理 BP神经网络 模板匹配

Recognition of the Position of Work Device of Excavator Based on Machine Vision

Abstract

The position detection of traditional work devices is achieved through angle sensors, displacement sensors, photoelectric encoders, thermistors, etc. However, gyro-type sensors are expensive and require multiple gyroscopes, and the sensors need to be synchronized between the numerous sensors. Inter-resource sharing and integration processing are theoretically complex and have large uncertainties. However, the conventional potentiometer angle sensor is inexpensive, but it is inconvenient to install and the system circuit is complicated after installation, which may affect the movement of the working device.
In this project, the visual information system and non-contact sensors are used to obtain the characteristic information of the working device in the task environment where the working device is located. The position and posture of the working device are adjusted by real-time image feedback to achieve the desired target pose or environment adaptability. Transform to complete the target operation task.
First, the brightest circular four-node card marking method is used to identify the most critical four nodes of the excavator's posture state. The image is first grayed, and the second step is to set the screening threshold to convert the grayscale image to binary. The image is used to separate these four key nodes and finally establish a suitable rectangular coordinate system to output the node coordinates.
However, due to the interference of the surrounding environment of the excavator, similar bright white circular areas appear inevitable. Therefore, in order to improve the accuracy of image recognition, bright white circular cards have been replaced with white digital cards on a black background. . Using BP neural network algorithm, digital recognition. Firstly, the collected images are preprocessed, then digital samples are trained to realize the digital recognition function of the noisy pictures and standard pictures. Finally, the correlation-based template matching algorithm is used. The digital image is used as a sub-template sample to match the

position of the digits in the original image to obtain an accurate node coordinate position. Then a planar rectangular coordinate system is established and the related triangles are solved to obtain the arm and bucket. The declination relationship between the three sections of the rod and the bucket to realize the position and posture recognition of the three-section arm of the real-time excavator.

Key Words: Excavator；Pose recognition；Digital image processing；BP neural network；Template matching

目录

摘要 I

Abstract i

第一章 绪论 1

1.1课题背景及意义 1

1.2 国内外智能挖掘机研究概况 1

1.3智能挖掘机的视觉系统 2

1.4图像处理技术及难点 3

第二章 基于识别关键节点布置亮白点法挖掘机设备位姿识别系统 7

2.1 侧面拍摄 7

2.2 灰度化处理 8

2.3 设定筛选阈值分离标记图像 8

2.4 获取图中关键标记点的中心位置的算法实现 10

2.5 建立坐标系并输出关键点坐标 12

第三章 基于BP神经网络的数字识别位姿判断 14

3.1 数字识别法 14

3.2 采集数字样本的训练 23

3.3 基于空间相关的图像模板匹配 24

第四章 数字识别模型的优化——模板匹配速度优化 28

4.1 高速模板匹配法 28

4.2 高精度定位的模板匹配 32

第五章 总结与展望及经济性分析 34

参考文献 35

附录 37

第一章 绪论

1.1课题背景及意义

智能挖掘机在实际工程中的广泛应用主要包括一下的方面：环境感知、轨迹模拟与制定、完备控制系统等三个方面的工程内容^[1]。其中，控制系统能够根据事先程序设定好的轨迹路径，人工调控电流的输出数值，进而便完成了对执行机构的操纵和使用。控制系统在实际工程应用中需要通过多种类型的传感器检测挖掘机操作设备的定位和姿态，从而提供反馈信号，形成闭环反馈回路。传统的工作装置位姿检测通过角度传感器、位移传感器、光电编码器、热敏电阻等实现，但陀螺仪型传感器价格昂贵，且需要多个陀螺仪，传感器间需要进行同步，众多的传感器间之间的资源共享和整合处理理论上来说是很复杂并且存在很大的不确定性^[2]。 而传统的电位计型角度传感器虽然价格便宜，但安装不便，且安装后系统线路繁杂，容易对工作装置的运动产生影响。

本课题通过图像处理技术和非接触的传感器得到设备在实际应用的工程实例中挖掘机三段臂的特征信息，通过实时图像反馈对工作装置的位置和姿态进行调整，以达到期望的目标位姿或适应环境的变换，以完成目标操作任务^[3]。

1.2 国内外智能挖掘机研究概况

伴着时代的进步与科学技术的日益发展，各类工具的视觉测量技术的应用得到迅速发展。它的特点有非接触性、反馈及时化、动态化、速度迅速、规模大、效率卓著等^[4]。它将摄影测量和光学测量理论使用在工业相机上，借此来捕获目标的静态单帧图像或动态序列图像。这里面，有很多需要我们测算的具体结构以及一些运动学中的参考量需要我们运用计算机来进行图像处理，已得到分析出的结果。目前，国内外对视觉测量的应用主要分为两方面：其一在于整体化，主要是整体静态定位和尺寸测量、整体跟踪运动物体等；其二在于细节化，主要测量运动物体自身的小位移和运动范围内的细节部分。但是，视觉测量技术在自身位移范围较大的物体上没有充足的实践。

请支付后下载全文，论文总字数：30124字