1.1选题目的及意义

随着越来越先进的机器人进入我们的生活，对教学机器人复杂技能的需求也在增加。如果机器人可以替换执行复杂装配任务的人工，则可以降低人工成本。与汽车工业中使用的重型工业机器人操纵器相比，最近出现了轻型臂机器人和双臂机器人用于小批量生产。例如，富士康科技集团已经在他们的工厂中部署了自己的装配机器人。此外还有几家公司开发了双臂机器人，主要针对小型零件装配。这些机器人包括Rethink Robotics的Baxter机器人，Kawada的Nextage机器人等。目前这些机器人只能执行简单的装配任务。许多复杂的装配过程仍然需要人力劳动。许多复杂的装配过程仍然需要人力劳动。而通过人体演示教授机器人精细的装配技能，可以避免冗长的机器人编程，并且操作员不需要技术专业知识。

另一方面，传统工业机器人的工作环境大多数是结构化的，且任务重复，其运动规划可以通过离线编程或示教来实现。而对于一些复杂运动，其运动规律不容易获取，如击球，使用传统算法帮助机器人获取运动技能将变得十分困难，甚至不可能。此时，若能够让机器人具备一定的学习能力，从而能够减少编程工作量。因此本课题使用模仿学习来学习人的装配动作，学习控制策略，进而获取运动技能。

此外，目前的示教学习大多是利用OptiTrac对进行动作捕捉，较少有结合视觉、听觉交互来辅助示教学习进程，而语音交互可以及时调整、纠正机器人示教学习过程中的一些不合理的动作，同时也可以汇报学习是否收敛，视觉交互可以在定位、目标识别方面做出贡献。故本课题采用融合视觉、听觉等模态信息的多模态融合策略，以提高示教学习的效率和准确度，并利用视听交互改善人工示教过程的使用体验。

所以本课题基于多模态融合的示教学习对避免机器人技能学习中冗长的编程、提高示教学习的效率和准确度、改善人工示教过程的使用体验具有重要意义。

1.2国内外研究背景

国外机器人示教学习研究背景：

当前示教学习中表示技能的方法可以大致分为两种：第一种是采用感觉和运动信息之间的非线性映射的形式，我们将其称为“轨迹编码”，第二种是将技能分解为一系列动作感知单元的技能的高级表示，我们将其称为“符号编码”。

Calinon等提出了一种概率架构，用于一般性地解决通过PbD框架提取任务约束的问题，并将获得的知识推广到各种情况。他们将这种方法扩展到更通用的过程，通过直接将任务约束的概率表示与简单的基于雅可比的逆运动学解决方案相结合，同时处理关节空间和任务空间中的约束。

Calinon等提出了一种向人形机器人逐步教授人类手势的方法。学习过程包括首先将运动数据投影在潜在空间中，并以高斯混合模型（GMM）对结果信号进行编码。示威活动可以各种方式提供。机器人观察人类用户在佩戴运动传感器时展示手势。另一方面，教练通过运动学教学帮助机器人正确地移动其四肢。