基于错误相关电位的机器人运动反馈系统毕业论文
2021-04-05 00:36:54
摘 要
近些年来,人们越来越关注如何在机器人学习复杂的任务中利用人类的反馈将机器与人类学习的能力结合在一起,其中,大多数的工作都是依靠多种方式来提供反馈(语音、图形界面、手势等等)转化为机器可用的信号。本毕业设计论文旨在探究不同的通信信道与人的错误感知相关的认知EEG脑信号,在这之中特别考虑了错误相关电位,一些研究表明,当个体在感知发生错误时,在其头皮额中央区可以记录到一个与错误反应特定相关的波形,称为错误相关电位(error-related potentials, ErrP)。ErrP是一种稳定的电位,受到生理结构变化的影响很小,即使是在几个月之后,基于ErrP训练的分类器具有同样的性能。基于ErrP的脑机接口由于系统稳定、无需长时间训练等优点,具有很高价值的研究潜力。
本次毕业设计的目的是在基于这种想法的基础上,利用运动想象诱发错误信号,使用CSP提取特征值,利用SVM分类算法来设计一个基于ErrP的反馈系统,当用户感知到自己或外部机器所犯的错误时,系统可以自动检测到错误发生并告知控制终端。利用MATLAB软件进行代码的编写与运行,实验开始前利用开源数据集运行程序,调整修改代码,调整完成后记录程序基于数据集的准确率,然后利用实验室脑机接口设备收集自己的脑电信号,导入程序,并进行最后的结果检测,检测完成后利用实验室机器人进行实际操作并记录结果。
关键词:脑机接口;错误相关电位;反馈
Abstract
In recent years, more and more attention has been paid to how to use human feedback to combine machine and human learning ability in complex tasks of robot learning. Most of the work relies on a variety of ways to provide feedback (voice, graphical interface, gesture, etc.) and convert it into signals available to machine. This graduation design thesis aims to explore different communication channel associated with the wrong perception of people's cognitive EEG brain signals, especially considering the error in this related potential, some research has shown that when individuals perceive when an error occurs, the frontal scalp central can record to a related to the error response specific waveform, called the error related potential (error - related potentials, ErrP). ErrP is a stable potential that is less affected by structural changes, and classifiers based on ErrP training have the same performance even months later. The brain-computer interface based on ErrP has high research potential due to its system stability, no need for long time training and other advantages.Based on this idea,
Based on this idea, the purpose of this graduation project is to use motion imagination to induce error signals and use CSP and SVM to design a feedback system based on ErrP. When users perceive errors made by themselves or external machines, the system can automatically detect the occurrence of errors and inform the control terminal.MATLAB software was used to write and run the code. Before the experiment, the program was run with the open source data set, the code was adjusted and modified, and the eeg signal was collected and imported into the program after completion for the final result detection. after the test is completed, the laboratory robot is used to carry out the actual operation and record the results.
Key Words:Brain-computer interface; Error correlation potential; feedbackmatlab;
目录
第1章绪论 1
1.1研究目的及意义 1
1.2国内外研究现状 1
1.3课题的主要内容及章节安排 3
第2章错误相关电位与BCI系统原理简述 5
2.1脑电信号的原理、特点及提取 5
2.1.1脑电信号的原理 5
2.1.2脑电信号的特点 5
2.1.3脑电信号的提取 6
2.2错误相关电位原理 10
2.3 BCI系统原理 10
2.4 特征提取方法 12
2.5本章小结 13
第3章基于ErrP反馈的BCI系统设计 14
3.1ErrP信号特点 14
3.2系统原理及框图 15
3.3信号的采集 15
3.3.1 脑电信号采集系统设计 16
3.3.2 实际采集情况 17
3.4信号的处理 19
3.4.1 特征提取方法 19
3.4.2分类方法 21
3.5 实验结果与分析 24
3.6机器人反馈系统 28
3.7本章小结 29
第4章结论 31
4.1 工作总结 31
4.2 下一步工作展望 31
第1章绪论
1.1研究目的及意义
机器人在健康医疗、工业制造业等行业的应用越来越广泛,越来越趋于智能化,同时机器人在学习和处理复杂的任务时通常面临着巨大的动作状态空间,如果不事先了解环境的结构,探索这些空间的是非常困难的。在探索的同时应当尽量避免潜在的危险,以免对机器人或机器人周围的人造成危险[1]。同时,人对任务的理解和认识,可以在机器人操作过程中通过一定程度的反馈来提供有关学习或控制的信息,这种反馈方式是一种非常强大的方式,普遍应用在机器人学习复杂任务的过程之中。在机器人操作和学习过程中使用人的反馈是需要人与机器人之间进行某种形式的交流的,其中最常见的交流形式包括语音手势和肢体互动。这一领域的大多数研究都采用了强化学习框架,即在学习过程中融入人的反馈。由于反馈是通过人与机器人之间的互动产生的,所以人可以根据自己对任务的理解来得出反馈。一些研究人员研究了如何对二元反馈(如赞成或反对)建模,并将其纳入学习过程中,在互动过程中,人们不仅提供反馈,而且往往会为未来的行动提供指导。
在过去的研究中,脑机接口技术已经取得了重要的发展,最近几十年来随着脑机接口技术的飞速发展人们得到了全新的控制和交流的方式,这使人类的大脑能够脱离其他的组织单独实现一些特殊功能,这些研究结果极大的推进了人类对大脑的认知。虽然现阶段脑机接口还是处于实验室研究的阶段,但是脑机接口的应用依然被认为是神经科学一个极其重要的应用方向,并且这一项技术在日常娱乐、医疗健康和军事应用领域都有着非常广泛的应用前景[2]。
而错误相关电位在脑机接口系统中有着重要的地位,利用错误相关电位可以去探索一种不同的通信通道,以提供反馈给机器人使用的大脑信号,保证机器的控制效果。研究错误反应是为了探究错误对于人类适应性行为的重要作用。成为未来研究者研究的焦点之一就是研究错误反应到底是如何引发后续的行为调整的[3]。
1.2国内外研究现状
最早在1929年的时候,一位德国科学家Berger首次记录到了人类脑电(Electroencephalogram,EEG),EEG信号是通过将电极放在头皮或者颅内而记录下来的脑细胞群的电活动。自从EEG信号被发现以后,人们就期待使用EEG信号来完成通信,这样就能实现用意识来控制设备的愿景。在1973年,美国科学家Jacques Vidal最先尝试由EEG信号来控制光标在二维空间上运动,这就是后来脑机接口的雏形。Shih和Krusienski等科学家证明,经过BCI(brain computer interface,BCI)系统的翻译,皮层电图(ECo G)是直接从皮层表面记录下来的,可以在计算机屏幕[4]上准确拼写单词,为BCI的后续研究和开发开辟了新的途径。
在上个世纪60年代末期,一项基于猴子的 BCI 研究发现了单个皮层神经元的信号能够用来控制米针。从此,BCI 技术越来越多的成为研究者的焦点。Sitaram和Ruiz等研究者研究发现,基于脑电信号的神经反馈不仅仅能够绕过大脑自然运动输出,还能够改变脑信号感觉输入,甚至还能够修改行为和认知状态。在这之后Shih和Krusienski等研究者证明,直接由皮层表面记录的并且通过BCI系统的信号(Electrocorticography,ECo G),可以完成精准拼写,这项研究成果为BCI的发展和研究打开了全新的局面。
图1.1 意念可控假肢(中国科学院深圳先进技术研究院)
近期在国内,脑机接口技术也有着非常多的优秀成果,例如像清华大学等高校都在研究基于诱发EEG的BCI技术,还有西安交通大学研究基于自发EEG的BCI技术,还有像华中科技大学、天津大学和中国科技大学等也都致力于研究BCI领域的相关技术。
在中国,清华大学高尚凯教授领导的BCI研究团队就是一个典型的团队。他的团队成功地开发了一个基于SSVEP的稳态视觉诱发电位(SSVEP) 48指令BCI控制系统,提出了基于运动开始时刻相关的潜在N200 BCI系统, 成功的使用BCI实现电话、电视等功能。
在早期BCI主要应用于医学领域,因为这项技术一开始最大的应用就是去帮助残疾人来正常生活正常行动,比如使用BCI来控制轮椅行动,使用BCI来控制义肢行走,使用BCI来拿东西,写字,与他人交流等应用。而当今社会,BCI应用于许多领域,例如一些高危行业,人们可以使用BCI来控制机器人在各种高危环境下工作来减少对人类的伤害,或者在军事方面可以通过BCI来控制机器人去侦察等,有着巨大的作用。
在BCI系统中,基于错误相关电位的反馈非常重要,国际上关于错误相关电位的研究也非常丰富。
国外的研究者Schalk和Ferrez、Millan通过收集用户产生的错误感知引发的ErrP,解码该错误响应将允许系统采取纠正措施,例如通过防止错误指令被完全执行或恢复其结果等方法。Artusi和Llera选择使用ErrP通过重新校准系统来减少将来再次出现错误的可能性,从而允许系统“从错误中吸取教训” [5]。他们将解码一个大脑信号(例如运动图像的相关或刺激识别)用于控制设备,并将ErrP作为纠正机制,从而对应于混合脑机接口系统。
本文研究的反馈系统也有很多人在做研究,反馈系统是提高识别率的一个十分重要的系统,他能够很有效的减少识别错误率,而本文研究的是基于错误相关电位的反馈系统,错误相关电位十分稳定,作为检测反馈十分的有效,相信未来也能够成功的大规模发展,有效的提高识别率,将BCI带出实验室,走向大众市场。
1.3课题的主要内容及章节安排
本设计的题目是:基于错误相关电位的机器人运动反馈系统。本毕业设计主要在研究错误相关电位的识别,分析处理和反馈,运用MATLAB软件对收集到的脑电信号数据包进行分析,改进其识别方法,提高正确率。
课题的主要工作为: