摘 要

机器人抓取是计算机视觉的一个应用方向，提出近些年随着制造业和快递业的快速发展，行业的效率亟待提升，由此机器人抓取逐渐成为研究热点。在抓取过程中，首先应在机器视野内确定抓取对象，然后确定机械臂的抓取位姿，同时确定相对于机械臂摄像头坐标系的对象位姿。本文聚焦于研究抓取对象的位姿预测。一个优秀的抓取对象位姿预测算法应对遮挡和光照显示出一定鲁棒性，对摄像头噪声不敏感，同时算法的时间复杂度较低。针对上述三点要求，本文吸收和借鉴已有的抓取对象位姿预测算法，完成如下工作。

(1) 抓取对象图像分割与特征提取研究。结合已有的PoseCNN中图像分割算法，将图像进行语义分割。使用基于CNN的编码器-解码器体系结构，提取色彩特征信息。通过修改PointNet的对称归约函数，更为精准地提取几何特征信息。

(2) 抓取对象密集特征融合研究。首先将每个点与特征像素形成函数映射关系，在像素级别关联以得到的特征对，并将特征对输送至多层感知网络，使用对称规约函数生成固定大小的全局特征向量。

(3) 抓取对象6D位姿预测与迭代优化研究。在确定3D空间位置和3D旋转姿态的基础上，得到初始的6D位姿预测值，使用一种基于神经网络的迭代优化算法，将训练模型快速准确地修正，提升位姿预测值的精度以及整体算法地时效性。

关键词： 机器人抓取；图像分割；6D位姿预测；特征融合

Abstract

Robot grasping is an application direction of computer vision. With the shape development of manufacturing and delivery industry, the efficiency needs to be improved immediately, and robot grasping has gradually become a research hotspot. During the grasping process, which object is interested should be determine first. Next, calculate the grasping pose of the robot arm. The last step is to compute the object pose on the basis of the robot arm camera system. This article focuses on studying the pose prediction of objects. An excellent grasping object pose prediction algorithm shows robustness against occlusion and illumination. Also, it ought to be insensitive to camera noise, and has a low time complexity. To solve these problems, this paper absorbs and draws on existing grasping object pose prediction algorithms to complete the following work.

1. Research on image segmentation and feature extraction of objects. Combined with the existing image segmentation algorithm in PoseCNN, the image is properly segmented. This paper uses a CNN-based encoder-decoder architecture to extract color feature information. By modifying PointNet's symmetric reduction function, we extract geometric feature information more accurately.

2. Research on intensive feature fusion of grabbing objects. On the basis of the association of each point set feature with its corresponding feature pixel, we obtain the feature pairs at the pixel level. After the feature pairs are sent to the multi-layer perception network, this paper generates a fixed-size global feature vector through a symmetric reduction function.

3. Research on 6D pose prediction and iterative optimization. Based on the determination of the 3D space position and the 3D rotation pose, the initial 6D pose prediction value is obtained. Then an iterative algorithm based on neural network is used to modify the training model and optimize the result. Thus the accuracy of the pose prediction value and the overall algorithm timeliness is improved.

Keywords: robot grasping; image segmentation; 6D pose prediction; feature fusion

目 录

摘 要 I

Abstract II

第1章 绪论 1

1.1研究背景与意义 1

1.2国内外研究现状 1

1.3本文研究内容 2

1.4本文组织结构 3

第2章 抓取对象图像分割与密集特征提取研究 5

2.1引言 5

2.2抓取对象图像分割 5

2.2.1图像分割目的 5

2.2.2图像分割方法 6

2.2.3本文抓取对象图像分割框架 8

2.3抓取对象密集特征提取 9

2.3.1 基于CNN的色彩特征提取 9

2.3.2 基于PointNet网络的几何信息提取改进 9

2.4 实验及分析 10

2.4.1 实验平台环境 10

2.4.2 实验数据集 11

2.4.3 评价指标 11

2.4.4参数设置 12

2.4.5 实验方案 12

2.4.6 实验结果及分析 12

2.5本章小结 14

第3章 抓取对象特征密集融合研究 15

3.1 引言 15

3.2 抓取对象像素级别特征密集融合 15

3.3 实验及分析 16

3.3.1 实验评价指标及数据集 16

3.3.2参数设置 16

3.3.3 实验方案 16

3.3.4 实验结果及分析 16

3.4本章小结 18

第4章 抓取对象位姿预测与迭代优化研究 19

4.1 引言 19

4.2 抓取对象位姿预测 19

4.3迭代优化 20

4.4 实验及分析 21

4.4.1 实验评价指标及数据集 21

4.4.2参数设置 21

4.4.3 实验方案 22

4.4.4 实验结果及分析 22

4.5 本章小结 24

第5章 总结与展望 25

5.1全文总结 25

5.2未来展望 25

参考文献 26

致 谢 29

第1章 绪论

1.1研究背景与意义

视觉是人类获取外界信息的主要途径。近年来计算机视觉飞速发展,在民用制造业,军用无人机等方面的视觉技术日新月异。伴随着终端配送服务向非一线城市扩散,我国快递业飞速, 某电商巨头首创无人操作仓库以应对大量的快递包裹,人工操作被一系列机器人取代。在快递行业的应用是机器人抓取的一个经典问题——分拣：在一堆无序摆放的物品堆中，取出目标物品。在快递分拣员看来，这几乎是一个不需要思考的过程，但对于机械臂而言，这意味着复杂的矩阵计算。在抓取过程中不仅要确定机械臂的抓取位姿，同时要确定抓取对象相对于机械臂的固定摄像头坐标系的抓取对象位姿。本研究聚焦于抓取对象位姿问题开展研究工作。

一个对象位姿预测算法首先能对抓取对象的形状、纹理敏感；其次，可以在有遮挡、光线不好的场景下具有一定的鲁棒性；然后，对摄像头产生的噪音不太敏感；最后，预测算法的时间复杂度足够低，在实际抓取场景下机械臂才能够反应迅速，从而提高效率。

本研究的目的在于吸收和借鉴目前已有的抓取对象位姿预测算法，提出对现有方法的改进，竭力在预测准确率和效率上优化抓取过程，使得机器人抓取能够更接近于大规模工业应用。