摘 要

随着科学技术的进步，人机协作技术逐渐成为一个研究的热门话题。将手势融入人机协作之中，可以增加人机协作的途径和方法，能为人机协作研究提供新的研究思路。当更为成熟、方便灵活的人机协作技术出现后，人们的生活质量与工作效率也将随之提高。本文围绕机器人人手识别和自动跟随技术的实现，开展了以下几个方面的研究。

首先，针对手势的识别与分类的问题，对多种手势识别技术进行了比较，从中选择卷积神经网络的方法，设计卷积神经网络，实现对相机采集到的的图像中的手势的识别与分类。

其次，针对像素点三维坐标还原问题，对相机使用张氏标定法，得到相机内部参数，在通过双目相机得到手势图像后，利用了相机光轴平行的结构特性，来计算手势在空间中的坐标。

最后，针对机械臂的逆解问题，在已知UR5的D-H模型，根据UR5机械臂的D-H模型,得到机械臂末端执行器空间位姿，由此建立了UR5机械臂逆解模型，将机械臂末端执行器的期望位姿带入模型中分步求解各关节角度，并在gazebo中进行仿真实验。

关键词： 手势识别、双目视觉、运动学逆解

Abstract

With the progress of science and technology, man-machine cooperation technology has gradually become a hot topic of research. Integrating gestures into human-computer cooperation can increase the ways and methods of human-computer cooperation and provide new research ideas for human-computer cooperation research.When more mature, convenient and flexible human-computer cooperation technologies emerge, people's quality of life and work efficiency will also be improved.This paper focuses on the realization of gesture-recognition and automatic following technology, and carries out the following research.

Firstly, for the gesture recognition and classification, a variety of gesture recognition technologies are compared, the convolution neural network method is selected, and a convolution neural network is designed to realize the recognition and classification of gestures in images collected by cameras.

Secondly, in order to restore the three-dimensional coordinates of pixel points, Zhang calibration method is used to obtain the internal parameters of the camera. After gesture images are obtained through binocular cameras, the coordinates of gestures in space are calculated by using the characteristics of parallel optical axes of the camera.

Finally, for the inverse solution of the robot arm, the spatial position of the end effector of the arm is obtained according to the D-H model of the UR5 robot, and the inverse solution model of the UR5 robot is established. The expected position of the end effector of the arm is brought into the model to solve the joint angles, and the simulation experiment is carried out in gazebo.

Key Words：Gesture recognition；binocular vision；kinematics inverse solution

目录

第1章绪论 1

1.1研究背景及意义 1

1.2人机协作技术国内外研究现状 1

1.2.1认知人机协作研究现状 1

1.2.2物理人机协作研究现状 2

1.3手势识别技术国内外研究现状 2

1.3.1传感器手势数据采集技术 2

1.3.2手势识别技术 3

1.3.3手势跟踪技术 3

1.3.4手势分类技术 3

1.4视觉伺服控制研究现状 3

1.4.1基于位置的视觉伺服 4

1.4.2基于图像的视觉伺服 4

1.4.3混合视觉伺服 4

1.5本文主要研究内容 5

第2章手势图像识别 6

2.1手势图像识别基础框架 6

2.2手势识别技术 6

2.3手势分类技术 6

2.4卷积神经网络的构建 7

第3章双目视觉研究 8

3.1相机标定 8

3.1.1透视变换 8

3.1.2张氏标定法 9

3.2双目视觉 13

3.2.1多视图几何学 13

3.2.2基本矩阵 14

3.2.3本质矩阵 14

3.3目标点的空间坐标计算 15

第4章机械臂逆解研究 17

4.1齐次变换 17

4.2 Denavit-Hartenberg法 17

4.3 UR5机械臂的D-H模型 18

4.4机械臂逆解算法 19

第5章机械臂跟踪项目 23

5.1视觉控制系统结构 23

5.2机械臂跟踪项目内容 23

第6章总结与展望 25

参考文献 26

致谢 27

第1章绪论

1.1研究背景及意义

在现代社会中，随着计算机及相关产品在社会中日益普及，计算机技术也已经成为了人们日常生活中不可缺少的一部分，因而，人机协作技术逐渐成为一个活跃的热点研究领域。手势一直被认为是人与人之间的一种重要的交流途径，它可以提供更自然更直观的交互方法。将手势融入人机协作中，增加了人机交互的途径与方法，使得人机交互更加的稳健、高效和准确。机器人感知外部世界最常见、直观的传感设备是摄像机，建立机器人的视觉控制系统，通过视觉传感器得到图像数据，在图像当中提取视觉特征，根据得到的特征来控制机器人调整相对于目标或交互对象的位姿，也可以使得交互过程变得更加的准确、安全和高效。将手势识别技术引入机器人视觉控制系统，在许多领域具有应用前景，能够使机器人更加安全、高效地完成工业生产任务；能够辅助外科医生进行高精度手术或心理医生进行心理治疗；能够使机器人在进行高危险性的任务时更灵活、安全。通过两者的结合，实现人机协作技术的进步，促进机器人产业的发展，响应国家智能制造的号召，实现人机一体化智能系统，提升社会生产力，促进经济发展，同时减轻人们的工作压力，提高人们的工作效率^[1,2]。

本课题期望通过将手势识别引入机器人视觉控制之中，为人机合作协同研究提供新的研究方案和思路。相信随着人机协作技术的发展和成熟，在出现更方便灵活的人机协作技术后，人们的生活质量和工作效率也会随之提高。