英语原文共 22 页，剩余内容已隐藏，支付完成后下载完整资料

基于眼动的监督司机驾驶状态的眼部状态识别系统

接收:2009.8.4/收录：2013.3.30/在线出版：2013.4.23

摘要：本文提出一种即时眼动系统检测眼睛的状态。该系统采用一个电脑和一个未校准的带有被动的照明网络相机。图像区域之间预先建立一个相似性度量,特征选择算法和分类器应用于眼睛状态检测。从1293双眼睛图像和2322个独立的眼睛图片中提取数据,例如直方图、预测和轮廓,计算带有有三个眼睛模板的186相似量度。

两个特征选择算法, J5enT标准和连续性促进.,并且运用两个分类器,多层感知器和支持向量机,深入研究选择单眼和双眼监测状态的最佳方案。

分类器的输出结合了优化后的眼睛状态视频图形。我们用不同的实验者、环境和照明测试了系统。它实现了96.22%精度,优于先前发表的处理方法。系统运行时可以使用40 fps的频率以监测司机警觉状态。

关键词：眼部状态监测 多层感知仪 支持向量机 特征选择 驾驶状态监督

1. 介绍

眼动在认知过程中扮演了一个重要的角色,比如感知、注意力、独一无二的形状和睛特征为人脸检测和识别提供了信息。因此,快速和强大的眼睛检测和跟踪的发展是至关重要的应用程序,例如识别、人机交互,面部表情分析和司机警戒监视。统计数据显示,10%至20%的欧洲的交通事故都是由于司机的警觉水平降低引起的疲劳[2]。这些数据显示司机警觉性监视应用程序可以减少交通事故的数量的重要性。

.疲劳测量是一个困难的问题,很少有直接的措施,他们中的大多数测量的是疲劳的结果而不是疲劳的本身。四种措施通常是用来测量疲劳:生理、行为、主观的自我报告,和性能措施[3]。唯一的直接测量疲劳是自我报告身体状态。然而,任何自我报告都存在很大问题，因为会受到需求等因素影响或动机的影响。 行为测量的车辆由于侧向位置或方向盘等运动受到一些限制,例如、车辆类型、司机经验,、几何特征和道路的状态[5] 生理指标如脑电波、心率、脉搏、呼吸,是准确但很复杂，因为他们需要附加一些驱动电极,造成干扰。丰田和日产做一个项目,是先进安全车辆项目[6]。疲劳的人们展示一些视觉行为，我们很容易看见的头和脸的变化,主要在眼睛。这样,计算机视觉可以是一个自然和非侵入性的技术监督司机警惕。

眼动是一个重要的生理指标,研究检测眼睛疲劳。几个眼部运动也被用来测量疲劳如眨眼频率,眨眼时间,长时间闭眼频率,眨眼幅度,扫视速度,扫视速度和峰值。眼镜闭合度测量是闭眼的时间百分比和反映缓慢的闭眼运动百分比,而不是眨眼[7] PERCLOS嗜睡度量成立于一个驾驶模拟器研究在一分钟的时间比例,眼睛是至少80%时间闭着[8]。PERCLOS显示最明确的是一些潜在的睡意检测设备包括两个脑电图仪的算法,头部跟踪设备,和两个可穿戴眨眼监测[9]。PERCLOS是许多商业和实验使用的传感器(10、11)。

对于眼动跟踪和眨眼检测提出了许多方法。他们可以基于主动红外或被动照明。与红外照明,学生可以通过一个简单的阈值检测的黑暗和明亮的瞳孔图像之间的差异[12],学生们的亮度和大小等因素和外部照明干扰会影响性能。 此外,一个初始校准阶段通常是必需的。et al。[11]提出了一个系统的眼睛,目光和姿态跟踪红外照明。最初的瞳孔检测后,系统实现学生跟踪通过卡尔曼滤波和计算眼睑运动参数获得PERCLOS等措施。Selker等。[13]使用红外传感器高于眼睛,眼睑中断时检测光束。他们的系统措施时,光束受阻,从而提供闭目信息。

方法使用标准镜头和被动照明在凌乱的场景也被提出。 看到机器有限公司开发了一个立体视觉系统确定司机脸上的3 d位置匹配特性[10]。Orazio等。[14]提出了一种神经分类器识别图像中眼睛选择两位候选人区域可能包含眼睛虹膜利用几何信息和对称。史密斯et al。[15]提出了一个系统来检测眼睛闪烁,闭目基于颜色统计与鲁棒性遮挡虽然参数的选择是必要的。眼睛状态检测是在[16]解决眼部轮廓提取和后面的霍夫变换检测虹膜的存在与否。 “Kroacute;腊克语等。[17]提出了一种系统,它使用两个活跃的轮廓,分别来自眼睛,眨眼从先前的眼动跟踪检测。好莱坞等。[18]提供了一个工具来侦测眨眼,准确测量其时间通过假设一个固定的位置。工具提取假想的眼睛位置基于连续帧的阈值的差异。最可能的通过人体测量启发式组眼部区域选择。

在本文中,我们提出一个可靠的实时系统检测眼睛的司机与一个家用电脑,相机便宜的通用串行总线,被动的照明。 虽然以前的工作提出了许多不同的方法和功能来满足眼睛和眨眼检测,我们的方法主要集中在计算不同性质的多个特性来区分三个州,眼睛打开,几乎关闭,关闭,一双眼睛和个人眼睛区域。 眼三个州的使用是必要的准确计算PERCLOS如[8]。我们完成了歧视在这些州的非刚性的对象具有高变异性等多个功能的眼睛。 一个密集的两种特征选择算法的性能比较,J5enT标准和顺序向前选择(SFS)和两个分类器,多层感知器(MLP),和支持向量机(SVM),检测了一双眼睛和个人独立的眼睛。 我们的司机警觉监控系统使用的输出所选一双眼睛分类器和眼睛选中的个体分类器的输出左眼和右眼的监控视频序列的眼睛状态,这样PERCLOS测量计算。

剩下的纸是组织如下。第二部分展示了我们的方法来检测眼睛的状态,包括从眼睛区域,提取的信息之间的相似性度量计算眼睛区域和模板眼三个州的代表,特征选择和分类器来检测眼睛的状态 3实验结果对于一双眼睛和个人眼睛状态检测和发达的眼睛的性能状态监测系统介绍。 。

2 我们的方法

我们旨在监控司机警觉性PERCLOS测量。PERCLOS有意义在高速公路开车当司机面对额位置主要是关于相机放在汽车仪表盘上,低着头运动。 人脸检测,我们使用额脸探测器基于学习演算法和Haar-like特性英特尔开源框架的计算机视觉库(OpenCV)[19]。这个检测器有很大的性能与额叶和额附近的面孔。 我们评估了面对检测器与210年收集的图像Faces96[20]和BioID[21]从我们的私人数据库,数据库和额叶和额附近的面孔。它实现了一个真正的检出率为0。9849和0.180905的假阳性的数量/形象。

矩形的一双眼睛区域位置确定使用的头和脸的人体测量学指标输出给定的人脸检测 作为人脸检测主要是基于眼睛,他们可以准确定位。假设眼睑闭合双眼[22]同时,这并不限制对于司机警觉性监视,眼睛状态必须确定一个视频序列的每一帧计算PERCLOS措施。

因此,我们必须区分之间的开放、关闭眼睛状态,也几乎关闭状态,这被认为是由PERCLOS测量一样闭上眼睛 在接近封闭的状态,可见虹膜的比例低于20%的总高度。 由于眼睛大变化的外观和动态,我们的方法不提取个体特性或少量的特征作为单独的特性是影响这一事实很宽类的特征不变性失去权力歧视等差异 . 相反,我们提取不同性质的许多特性实现鲁棒性照明,存在与否的眼镜和面部表情等结构组成 此外,特征提取的一双眼睛和个人单独的眼睛

眼睛检测方法可分为appearance based,shape-based或混合. 外貌的方法依赖于模型直接建在眼睛区域的外观和shape-based方法使用前模型周围的眼睛形状和结构( [22]. 我们采用了混合方法:所选择的外观和形状特征灰度和颜色直方图,水平和垂直投影函数和形状。外貌的方法可以在映像模板分类方法,在每个像素的空间和强度信息保存下来,或整体方法,强度分布特点是忽略了空间信息。

直方图的矩形眼睛区域是我们采用的整体方法,特别是一维灰度直方图和二维颜色直方图. 对于灰度图像,一只眼睛可以表现为两个区域的强度,一个对应于虹膜和瞳孔,另巩膜. 23]使用一只眼睛模型组成的两个区域统一的强度. 汉森[24]建模眼睛的颜色分布地区,因为它是可靠的不同环境F 图1显示了开放的一维灰度直方图,一双眼睛图像几乎关闭,关闭。 每个图像的直方图表示下面的图像。. 开放的一双眼睛直方图灰度值较高的有代表性的垃圾箱与巩膜和其他与虹膜的垃圾箱 这些箱子是日益减少的一双眼睛直方图几乎关闭,关闭 另一方面,颜色肤色建模,得到了广泛的采用[25, 26]. 皮肤颜色有一定的不变性有关色度组件(27、28)。. 照明和肤色等其他因素影响光度主要组件 Sigal等。[28]选择了HSV颜色空间跟踪颜色分布的时间演化的实证研究 我们提取色度分量的二维直方图(HS)的HSV颜色空间来区分一个开放和封闭的眼睛一些光照不变性。

灰度图像的水平和垂直投影功能我在间隔(x,y)(y1,y2)和(x1,x2)表示为

(1)

(2)

图1 灰度直方图闭眼图像

开放,几乎关闭,关闭的一双眼睛图像的标准化的垂直投影图2显示了开放,几乎关闭,关闭一双眼睛图像在[0,255]。 . 3. 规范化水平的预测正确的眼睛三个州的图2显示在图3。

通常的水平和垂直投影使用，定义为

(3)

(4)

方差水平和垂直投影函数建议在[ 29 ]，以提高灵敏度的在图像中的变化，这被定义为

(5)

(6)

(7)

(8)

图2 眼睛图像在[0,255]

水平和垂直，可互补的ipf0考虑强度的平均而作为考虑强度的方差。 结合IPF和VPF，周等人。[ 30 ]提出水平和垂直的广义投影函数表示式。 .分别为7和8，其中0_a_1是用于控制ipf0and VPF的相对贡献。 田等[ 31 ]应用水平投影法检测脸上的眼睛位置。 周等[ 30 ]显示，IPF，VPF，和GPF都有效的人眼检测。 我们计算ipfh，ipfv，和gpfh和gpfv一0，0.4，0.6和1的值为矩形眼区。

整个图像也被用来测量的相似性与模板。 白蛋白等[ 32 ]提出了一种模板匹配搜索中的眼睛状态检测算法图像区域。

关于形状，开放的眼睛是很好的描述，其中包括虹膜和瞳孔的轮廓和外部眼睛的形状（眼睑），和不同的形状闭目。 王等。 16 ]和Kroacute;LAK等。[ 17 ]提出基于眼睛轮廓提取的方法，其中Hough变换和主动轮廓，分别用于检测眼睛状态。.田等[ 31 ]基于复杂度的开放式或闭式眼睛状态检测眼睛轮廓。

在一个视频序列的帧中获得眼睛的形状，通过Adaboost人脸给方脸区域在一架探测器，方形窗口集中在脸上区域，三分之二的脸区域的宽度和除去眼睛区域，被提取。这是因为广场的AdaBoost检测器给出包含面区域，但不是所有的像素都属于脸，即，一些有非肤色像素，所以与选定的子窗口，我们抛弃了没有肤色的像素。 所有在子窗口中的像素是用来创建一个一维直方图从H（色调）在HSV颜色空间的价值。

图1灰度直方图开，近关，关对眼睛图像

图2开放的垂直投影，近闭合，和闭对眼睛图像的值有一个小范围的皮肤颜色的变化被用来描述皮肤颜色[ 33 ]。 有了这个直方图在视频序列中的下一个框，直方图投影图像被创建。 一个图像的投影在一个直方图，以Swain和Ballard [ 34 ]介绍，是一个关联图像中的每个像素的原始操作与相应的直方图，包括其值。 一个图像的投影生成概率每个像素的值的分布取决于这个像素属于创建直方图的概率。 反投影图像中的眼睛区域的大部分非肤色区域如瞳孔、虹膜等像素，巩膜。 .然后将二值化应用于该区域根据零或非零的值，在直方图投影图像。 :轮廓提取应用于这个二进制图像。轮廓将被验证，如果有2个轮廓，一个在每个一半的眼睛区域。此外，一个椭圆拟合适用于2轮廓和附加条件必须满足： 一、左椭圆长轴之间的划分而右椭圆的长轴必须在0.7和1.4和二，两个主要轴必须大于六分之一对眼睛区域的宽度。 这些实验固定的条件，以验证的轮廓因为良好的眼睛轮廓提取，如果他们满足。

图3 规范化水平的预测正确的眼睛图

一旦我们有了一个眼睛拍摄的信息在一个数据集，有赋予两种可能性他们的意思是：做一个单方面的解释该功能集或比较某些元素的数据集在相似函数的基础上[ 35 ]。 按建议[ 33 ]和[ 36 ]，眼睛检测问题的复杂性使其成为必要的相似函数的使用实现用户闪烁分析所需的精度与非严格的正面人脸，在运动中，并与照明变化。的元素比较的数据集眼睛的图像是相同的数据集的模板打开眼睛，闭上眼睛，闭上眼睛。

2.1 Similarity functions 2.1相似函数

与从眼睛区域和获得的信息从模板，大量的相似性措施在眼睛区域和三个模板之间提取。 鲁布纳等

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[153672]，资料为PDF文档或Word文档，PDF文档可免费转换为Word