摘 要

随着生产率的提高，工厂、生产车间、包裹分拣基地、矿业、危险环境等物品对自动搬运机器人需求量越来越大，自动搬运机器人技术已发展成为一种新兴的热门技术。实现机器人的位姿估计是搬运机器人能够感知环境自主导航的关键。

本文主要研究自动搬运机器人的位姿估计方法，包括推导由图像信息得到位姿信息的计算过程以及通过IMU运动学方程进行位姿计算的原理，并且通过单目视觉信息与IMU惯性传感器信息进行松耦合，将IMU惯性传感器所获得的位姿信息进行卡尔曼滤波器中IMU状态量的预测，将单目视觉信息得到的位姿信息进行卡尔曼滤波器的更新。最终在软件实验中通过扩展卡尔曼滤波算法进行数据融合，得到抗干扰能力强，鲁棒性强的机器人位姿信息。

关键词：位姿估计 扩展卡尔曼 传感器融合 搬运机器人

Abstract

With the increase of productivity, there is a growing demand for automatic handling robots in factories, production plants, parcel sorting bases, mining and hazardous environments, and the automatic handling robot technology has developed into a new hot technology. Realizing the pose estimation of the robot is the key to the robot's ability to perceive the autonomous navigation of the environment.

This project mainly studies the pose estimation methods of the robot, including deriving the computational process of obtaining the pose information from the image information and performing the bit position through the IMU's kinematics equation. The principle of pose calculation, and the monocular visual information is loosely coupled with the IMU inertial sensor information, and the pose information obtained by the IMU inertial sensor is predicted by the Kalman filter, and the pose information obtained by the monocular visual information is subjected to Karl. Mann filter update. Finally, in the software experiment, the Kalman filter algorithm is used for data fusion to obtain the robot pose information with strong anti-interference ability and robustness.

Keywords: pose estimation extended Kalman sensor fusion transfer robot

目录

第1章 绪论 1

1.1课题研究背景及意义 1

1.2自动搬运机器人的发展现状 1

1.3机器人位姿估计研究现状 3

1.4本文主要研究内容 4

第2章 视觉里程计 6

2.1 相机与图像原理 6

2.1.1 相机的分类 6

2.1.2 图像的数学表示方法 7

2.2 视觉数据的处理 8

2.2.1 ORB特征点的检测与匹配 8

2.2.2 对极约束求解帧间相机运动 10

2.2.3 三角测量法求取特征点深度信息 13

2.3 本章小结 15

第3章 IMU传感器位姿估计 16

3.1 IMU传感器 16

3.2 IMU数据的标定方式 16

3.3 IMU运动学分析 18

3.4 本章小结 19

第4章 基于扩展卡尔曼滤波器的传感器融合 21

4.1 系统坐标系的建立 21

4.2 扩展卡尔曼滤波器 21

4.3 状态量的预测 22

4.4 滤波器的更新 26

4.5 本章小结 27

第5章 系统软件设计 28

5.1 软件开发环境 28

5.2 ROS机器人操作系统框架 28

5.3 实验数据集 30

5.4 机器人位姿软件设计 31

5.4.1 软件代码的总体框架 31

5.4.2 扩展卡尔曼滤波器软件流程 32

5.4.3 视觉信息求取相机运动 34

5.4.4 时间同步机制 35

5.5 实验结果分析 36

5.6 本章小结 38

第6章 总结与工作展望 40

6.1 总结 40

6.2展望 40

参考文献 42

致 谢 44

第1章 绪论

1.1课题研究背景及意义

机器人的出现促进了人类生活方式以及生产方式的改变，但是目前能够大规模投入使用的机器人几乎都只是固定在某个工作点，做着固定的机械工作，缺乏机动性。而某些需要在工作场景中运动自如的工作诸如货物的搬运，一般都还是人工或半人工地工作。如果能够设计一款真正自主工作的搬运机器人，将会颠覆搬运行业的现状。真正自主工作的搬运机器人往往比固定工作地点的机器人复杂得多，将自主搬运机器人放入一个未知的环境中，它需要能感知环境中的障碍物，能规避障碍物，并且能实时计算出自己的位置和姿态，同时还需要实现能够识别物品，抓取物品等功能。本文为基于视觉与IMU信息融合的搬运机器人姿态估计研究与软件实现，主要研究利用搬运机器人上的视觉传感器以及IMU惯性传感器对搬运机器人的姿态进行估计，暂时不管机器人关于物体的识别或抓取功能。

得益于计算机科学的发展，计算机处理器的计算能力日益增强，以往限制于计算机运算能力不足而导致无法实时运行的视觉处理算法在当下主流计算机上已经可以实现实时的计算，极大地促进了机器视觉算法的发展，由此涌现出众多的开源视觉库，例如openCV，ceres，Eigen等。这些视觉库可作为工具使用，使得研究者能方便地调用各种封装好的数学工具，提高了软件开发效率，推动了计算机视觉的发展。目前计算机视觉方面的软件基础与硬件基础都已经具备，所以选择视觉传感器。当环境中的特征比较稀疏或者纹路变化不明显的时候，只依靠视觉信息无法进行准确地位姿估计，此时需要加入IMU惯性传感器则可以很好地解决这个问题。高精度IMU惯导传感器虽然精度高，成本却太高，体积也太大，不适合放在机动性较强的实时运动机器人上。因此选择低精度的微型IMU传感器，与视觉信息进行融合，得到搬运机器人位姿信息。

1.2自动搬运机器人的发展现状

自动搬运机器人的理念出自外国^[1]，1953年，位于美国的Barrett电子公司研究了第一款搬运机器人，并且被实际应用于仓库物品的搬运，是由一辆牵引式拖拉机改造而成的。1954年英国提出了电磁寻迹导航的搬运机器人，并且被投入到实际的应用中，这是一种基于感应埋在地下的通电导线产生的磁场的寻迹搬运小车，小车可以沿着预定的路线将货物从起点搬运至终点。1973年，位于瑞典的VOLVO公司在其汽车生产线上批量采用二搬运机器人进行装配作业，扩大了搬运机器人的应用范围。八十年代处，搬运机器人引入了无线式导引技术，即利用IMU惯性传感器和激光传感器进行引导，提高了搬运小车的稳定性和灵活性，并且可以更加方便地改变预定行驶的路线，不需要拆下埋在地下的引导电线。八十年代末，美国通用汽车公司设计了采用搬运机器人的柔性装配系统，推动了搬运机器人产业的发展。后来随着技术的提高，各个国家地区陆续提出更高水平的搬运机器人技术。欧美国家设计出全自动的搬运机器人，几乎不需要人工的干预，能实现路径的自主规划，能够在复杂多变的场合进行搬运工作。

国内关于搬运机器人的研究较晚，但是发展迅猛，不断地提高国产率，改变本行业长期依赖进口的局面。清华大学、国防科技大学中国科学院沈阳自动化所等科研机构均在研制搬运机器人并小批投入生产。