一、课题研究背景及意义

1.1机械手技能学习研究背景

学习是人类智能的重要表现之一，人所以能适应环境的变化并提高解决问题的能力，其原因在于人能通过学习积累经验，总结规律，以增长知识和才能，从而更好地改善自己的决策与行为。使计算机具有学习的能力，模拟或实现人类学习活动为目的的机器学习，是人工智能的一个重要的研究领域，它的研究对于人工智能的进一步发展有着举足轻重的作用。机器学习与人类学习相比，具有学习速度快、不受生命周期限制、学习成果可以复制而且容易传播等特点。如果机器能成功地实现人的学习过程，学习会不因人的生命结束而中断，知识的积累就可以达到一个新的高度。机器学习与统计学、心理学等许多其他学科都有交叉。

工业机械手在现代制造生产领域广泛使用，在自动化生产线中可以完成点傳、弧揮、喷漆、切割、装配、搬运、上下料及包装等工作，并能在一些危险恶劣的工作环境中发挥其巨大的作用，大大提高了生产效益。作为生产自动化中的一个重要环节，机械手的灵活性将直接影响到生产效率，所以对机械手的轨迹规划和技能学习提出了更高的要求因此，对于机械手运动技能学习的研究具有相当重要的理论意义和应用价值。

1.2机械手技能学习的研究意义

使智能控制系统具有学习能力，能在系统运行过程中逐步获取新知识，真正具有类似人类和动物的运动控制技能，近年来已经引起国内外学者的广泛关注。迄今为止虽然取得了不少成果，但无论是 Darwin 自动机还其它现有的面向机器人主体的认知模型，都很少涉及运动平衡控制这一类所谓的低级认知问题。正如美国密苏里#8212;#8212;哥伦比亚大学的 Ron Sun 等人所指出的：”低级认知的研究与高级认知的研究同样重要，然而，有关低级认知的认知模型或建模研究还没有得到足够的重视”。鉴于运动平衡控制问题对于机器人主体研究的重要性，我们对机械手运动技能的认知问题进行了特别的研究。

本课题选用运动技能学习作为研究对象，基于DMP模型的机械手为实验模型。在已有强化学习算法的基础上加以改进和提高，提出了自己的研究模型和见解，并应用到智能体对机械手运动控制中。这样智能体在开始学习之前不需必须知道环境的模型或控制的先验经验，而是使智能体具有学习能力，通过在运行过程中逐步获取的新信息，不断改进自己的认知行为，具有类似人类和动物的运动控制技能。其研究成果可广泛应用于自动控制、机器人学等相关诸多领域。

二、国内外发展现状