论文总字数：21655字

摘 要

传统的车身点焊焊渣主要是依靠人眼识别，存在着效率低、工作强度大以及漏检等问题。因此，本文提出一种双目视觉检测方法用于车门框点焊焊渣的精准识别，具体包括图像采集、相机标定以及图像特征提取等步骤。通过利用双目摄像机拍摄焊渣的图片，对图像进行特征提取并与原图进行结合以达到识别焊渣的目的。全文主要开展了如下几方面的研究工作。

首先对双目视觉相机进行标定。分析理想的相机模型以及相机镜头中会产生误差的原因，得出了实际的相机与理论的相机之间的差异。研究几种相机的标定方法从中找出较为简便的标定方法。基于选择的方法进行相机标定实验，对实验所得的数据进行分析以验证相机标定的准确性。

其次对车门框上图像采集的路径进行规划。研究了车门框的形状特征，确定了机器人和车门框之间的相对位置，对前后车门框进行了路径规划；在路径规划完成之后进行了TCP检测和碰撞监控，确定了机器人以及视觉镜头不会与车门框发生碰撞。

最后对采集得到的图像进行分析。利用局部特征提取思想采用SIFT算法和SURF算法进行特征提取。对于局部特征提取算法的不足，提出利用整体性算法进行特征提取，进而提出颜色分割算法。

关键词：双目视觉；摄像机标定；SIFT算法；颜色分割算法

Abstract

The traditional car body spot welding slag mainly depends on human eye recognition, which has the problems of low efficiency, large working intensity and missing inspection. Therefore, this paper proposes a binocular vision detection method for precise identification of spot welding slag of car door frame, including image acquisition, camera calibration and image feature extraction. By using binocular camera to take pictures of welding slag, the image features are extracted and combined with the original image to achieve the purpose of identifying welding slag. This paper focuses on the following aspects.

Firstly, the binocular vision camera is calibrated. By analyzing the ideal camera model and the reasons for the errors in the camera lens, the differences between the actual camera and the theoretical camera are obtained. Several camera calibration methods are studied to find out a simple calibration method. According to the selection method of the experimental camera, the experimental data were analyzed to verify the accuracy of the camera.

Secondly, the path of image acquisition on the car door frame is planned. The shape characteristics of the car door frame were studied, the relative position between the robot and the car door frame was determined, and the path planning of the front and rear car door frame was carried out. TCP detection and collision monitoring were carried out after the path planning was completed to ensure that the robot and visual lens would not collide with the car door frame.

Finally, the collected images are analyzed. SIFT algorithm and SURF algorithm were used to extract the local features. For the deficiency of the local characteristics extraction algorithm, the holistic algorithm is used to extract the features, and then the color segmentation algorithm is proposed.

KeyWords：Binocular vision; Camera calibration; SIFT algorithm. Color segmentation algorithm

目 录

摘 要 I

Abstract II

第1章 绪论 1

1.1课题来源 1

1.2研究背景及意义 1

1.3国内外研究现状 1

1.3.1国外研究现状 1

1.3.2国内研究现状 2

1.4主要研究内容 3

1.5论文章节安排 3

第2章 双目视觉相机的标定 5

2.1双目视觉相机的成像模型 5

2.1.1理想的相机模型 5

2.1.2非线性相机模型 6

2.2摄像机标定 6

2.2.1传统相机标定法 6

2.2.2张正友相机标定法 7

2.2.3相机标定实验 7

2.2.4实验结果分析 7

2.3本章小结 8

第3章 图像采集的路径规划 9

3.1机器人选择及位置确定 9

3.2机器人离线编程 10

3.3碰撞与TCP检测 11

3.4本章小结 11

第4章 焊渣图像拍摄与特征提取 13

4.1焊渣图像采集 13

4.2图像特征 13

4.2.1全局特征 14

4.2.2局部特征 15

4.3局部特征识别算法 15

4.3.1 SIFT算法的建立 15

4.3.2 SURF算法的建立 15

4.4整体特征识别算法 16

4.4.1色彩空间的概念 16

4.4.2颜色分割算法的建立 17

4.5本章小结 20

第5章 总结与展望 22

5.1全文总结 22

5.2工作展望 22

参考文献 23

附 录A 25

附A1 SIFT算法程序 25

附A2 SURF算法 26

附A3 颜色分割算法 27

致 谢 29

第1章 绪论

1.1课题来源

国家自然科学基金，视觉引导下基于深度学习的车身点焊焊渣精准检测与自适应磨抛加工技术研究，51975443。

1.2研究背景及意义

车身点焊焊接过程中由于焊接工艺原因会产生不可避免的焊渣。随机飞溅的点焊焊渣被认为是一种不可避免的焊接缺陷。为了提升车身的美观性并进一步改善后续涂覆性能，需要对焊渣进行有效去除。目前汽车生产企业主要是通过人工拿着打磨工具，依靠肉眼及经验对车身不同区域分布的焊渣进行打磨去除，带来劳动强度大、加工作业质量一致性得不到保证等问题。

将机器人视觉引进车身点焊焊渣识别在很大程度上能有效解决上述问题。但在机器人应用到焊渣识别中的第一步就是机器人路径规划^[1]。在将双目视觉设备夹持到机器人末端进行车门框焊渣检测时，必须进行合理的路径规划，以使机器人能够正确并快速地到达指定的区域，同时避免与所观察的目标发生碰撞，造成设备或者目标的损坏^[2]。在图像的采集过程中，机器人要有合理的采集路径，以使图像的采集全面、完整^[3]。

当前，机器人视觉涉及的研究面比较宽，有主动视觉，立体视觉和颜色视觉^[4-5]等内容。双目视觉是典型的模仿人眼构造的模型，不仅能够对目标物体进行识别同时定位物体所在的位置，而且能够获得目标物体的深度信息^[6]。同时伴随集成电子技术和微处理器等技术的快速发展，使双目立体视觉技术的实时性满足了技术要求，因此双目立体视觉应用于机器人领域具有十分广阔的发展前景。

1.3国内外研究现状

1.3.1国外研究现状

使用机器人以及机器视觉在焊渣识别过程中的主要任务是实现机器人夹持视觉设备接近被观测件的路径规划和利用视觉设备采集目标的特征图像并进行三维重建。其中路径规划在机器视觉的应用中占着很重的比例，好的路径规划可以使信息采集更加快捷，而高效的路径规划是现在人们更加追求的。为了满足人们的需要，各大机器人厂商大多都发布了自己的离线编程软件，以求在市场上占据一定的份额，其中比较大的厂商有加拿大Jabez Technologies公司的Robot Master，德国Siemens旗下的ROBCAD，瑞士机器人生产商ABB公司配套的RobotStudio^[7]等等，这些软件的开发为机器人的相关研究提供了工具，进一步推动了机器人路径规划等方面。

在机器视觉的应用方面美国走的比较靠前，其中应用比较多的是将双目视觉和机器人组合使得机器人能自主分析路径。美国波谷顿动力公司将双目视觉应用于仿生四足机器人^[8]，使其能够自主移动和避障。斯坦福大学和加利福尼亚大学研究出光场4D相机，这款相机可以生成4D图像，在虚拟现实以及增强现实技术等方面的应用较多。

1.3.2国内研究现状

我国对于机器视觉的研究比较晚，但是一些高校和机构对这方面的研究也取得了一定的成果，其中研究比较多的是利用机器视觉仪器进行图像的采集和三维重建。在使用双目视觉设备进行图像的采集之前必须先对设备进行标定，因为我们使用的设备由于镜头制造误差的存在会产生一定程度的畸变，而我们建立的相机模型是针孔相机模型，这就导致实际的结果与我们的理论结果产生误差。浙江大学^[9]研究的采用新的算法进行相机的标定和蔡晨涛等人^[10]研究的垂直排列双目全立体视觉系统的校正技术是我国目前关于相机标定方面的主要成果。而在使用双目视觉进行三维模型重建方面我国已经有多所高校进行了研究。2012年哈尔滨工业大学^[11]利用双目立体视觉制作了一套结构表观缺陷三维重建检测评定系统，利用该系统可以实现对建筑物表面的混凝土缺失状况的采集，进而完成对建筑物的健康状态的评定。利用该系统大大减少了以往工人采用接触式测量法以及目测法产生的误差，同时减轻了工人的工作量。

请支付后下载全文，论文总字数：21655字