摘 要

随着科技的进步和社会的发展，汽车慢慢的成为人类生活和生产过程中不可缺少的重要部分，它极大的提高了人们出行和工作的效率。但由此引发的交通事故造成了不可估量的生命财产损失。而疲劳驾驶成为了交通事故频发的主要原因。

以此为背景，本文对行车过程中出现疲劳驾驶时的面部特征进行观察和分析，提取出疲劳者的面部特征，结合面部特征检测处理方法，设计了能检测疲劳状态的方案，此系统包括人脸检测、疲劳特征提取和疲劳状态判断三个部分。其中提取的面部特征有二个：眼睛特征和嘴部特征。本文对疲劳状态识别的需求和流程作出了分析，对各个部分的算法进行了论述。本文基于Dlib提出了ERT算法提取人脸特征点来进行疲劳检测，在人脸检测方面使用HOG特征检测正脸效果更佳，在光照，天气等外界环境变化影响下仍有较好的检测效果。对于疲劳状态的判定方法，针对利用单特征进行疲劳检测存在的不足，提出融合眼睛特征、嘴部特征进行检测的方法，该方法提高了检测的正确率。

关键词：疲劳驾驶检测，人脸检测，特征提取，疲劳检测

Abstract

With the progress of science and technology and society, automobile has gradually become an indispensable important tool in human life and production process, which greatly improves the efficiency of people's travel and work. But the traffic accident caused by this has caused immeasurable loss of life and property. Fatigue driving has become the main cause of frequent traffic accidents.

Based on this background, this paper in the process of driving fatigue when the facial features of observation and analysis, extracting the facial features of the fatigue, the combination of facial features detection methods, designed to detect fatigue state, the system includes face detection, feature extraction and fatigue, fatigue state judgment of three parts. There are two extracted facial features: eye features and mouth features. In this paper, the requirements and process of fatigue state identification are analyzed, and the algorithm of each part is discussed. In this paper, based on Dlib, ERT algorithm is proposed to extract facial feature points for fatigue detection. In the aspect of face detection, HOG feature is more effective in detecting positive face. It still has a good detection effect under the influence of external environmental changes such as illumination and weather. For the determination method of fatigue state, aiming at the deficiency of using single feature for fatigue detection, a method combining eye feature and mouth feature for detection is proposed, which improves the detection accuracy.

Keywords: fatigue driving detection, face detection, feature extraction, fatigue determination

目录

摘 要 3

Abstract 4

第1章 绪论 1

1.1研究目的及意义 1

1.2国内外研究现状 1

1.3本文研究内容 2

1.4本文结构安排 4

第2章 机器学习理论 5

2.1机器学习 5

2.1.1机器学习介绍 5

2.1.2机器学习分类 5

2.2 人脸检测原理 6

2.2.1方向梯度直方图（Histogram of Oriented Gradient, HOG）特征 6

2.2.2 HOG特征的优势 7

2.2.3人脸检测原理 7

2.3 人脸特征点提取 7

2.3.1 ERT算法简介 7

2.3.2 ERT模型的建立 8

2.3.3训练特征点检测器 9

第3章 基于人脸特征的疲劳检测 12

3.1脸部特征点提取 12

3.2基于眨眼次数的疲劳判别方法 12

3.1.1疲劳判断 12

3.1.2眼部特征处理 13

3.3哈欠检测 15

3.3.1疲劳判断 15

3.3.2嘴部特征处理 15

3.3综合检测 16

第4章 总体方案检验 17

第5章 总结与展望 20

5.1总结 20

5.2展望 20

参考文献 21

致 谢 22

第1章 绪论

1.1研究目的及意义

随着社会的不断发展,道路上投入使用的车辆不断增加。汽车在给人类生活带来便利的同时，所引发的交通事故也在不断增多。据统计表明，我国交通事故的死亡人数己经连续十多年居世界首位^[1]，每年都会发生上万起的交通事故。减少交通事故的发生成为了一个不可忽视的问题, 而驾驶员的疲劳驾驶是导致事故的重要因素之一^[2]。据调查研究表明, 驾驶员疲劳驾驶比正常驾驶引发事故的概率要高出4到6倍^[3]。疲劳驾驶是指驾驶员由于长时间的驾驶或者休息不充足造成的神经反应能力的衰弱，主要表现为驾驶员疲倦、驾驶操作失误、打磕睡或者暂时丢失驾驶能力^[4]。现如今疲劳驾驶现象日趋严重，但国内应对疲劳驾驶现象的预防设备还没有普及，还没有成熟的产品投入到市场之中应用，从而导致因疲劳驾驶而发生交通事故并造成了惨重的损失。交通事故的发生不仅对当事人产生了恶劣的影响，还容易激发社会矛盾，造成国家公共财产损失和资源的浪费。因此迫切需要开发出一套针对驾驶员疲劳检测和预警的方案，能达到时刻监测和提醒疲劳状态的驾驶员，从而达到安全驾驶的目的。

1.2国内外研究现状

1.国内关于检测疲劳驾驶的成果

我国为世界上的人口大国，对车辆的需求量很大，已投入到使用中的车辆数量处于世界之最。这种情况导致了我国的交通状况异常复杂，也使的我国的交通事故率非常之高，

随着我国的高速发展，在人民生活水平不断提高的同时，所承受的工作压力和竞争压力也越来越大，疲于奔命的人变得越来越多，在这种情况下疲劳驾驶逐渐成为交通事故的最主要原因。但由于我国在监控疲劳驾驶方面起步较晚使得发展缓慢，一直落后于人。最近几年我国在各个领域不断取得突破和成果，在经济和科技不断提升的同时开始加大了对疲劳驾驶方面的研究，我国相关的研究成果主要有：

（1）通过对处于疲劳状态的人的脑电分析，得出脑电波频率与疲劳存在着相关关系。这为疲劳检测提供了新的方向。

（2）根据处于疲劳状态的人瞳孔会变淡这一原理，创新出了瞳孔检测识别疲劳的方法。

2.国外对检测疲劳驾驶的主要研究成果

国外对疲劳状态检测的研究起步早，已取得了许多的成果。随着检测疲劳驾驶的相关理论不断的发掘并成熟，更多的检测疲劳状态的方式被开发出来，关于对疲劳驾驶的研究也一再成为了热门方向。总结了国外在疲劳检测方面的具体研究^[7]成果。

（1）德国的科研人员开发出了接触式的光电装置用于提醒疲劳状态的司机。

（2）法国的研究人员针对人眼皮的开合研究出了一款红外线设备，能检测疲劳状态并会对处于疲劳状态的驾驶员进行预警。

（3）美国研究人员根据PERCLOS准则开发出一套疲劳检测系统，但这一系统的实用性不高，无法普及开来。

（4）英国的相关工作者研究出了一套较为先进的系统，该系统融合了多种疲劳检测方式来判断驾驶员疲劳状态并能对驾驶员预警。

综合国内外的研究现状，可以看出当前国内外对于疲劳驾驶的探究还存在一定的问题，导致这些系统不能完全在汽车上进行运用，能够实现实时、简单、有效地检测出驾驶员疲劳状态是目前研究方向的重点和热点，但由于我国的市场上还没有较为成熟的产品投入到市场进行实际应用，这主要存在着如下的困难:首先产品的投入成本较高，然后由于目前对疲劳的判断还没有确切的准则，因此在对疲劳状态进行检测的时候可能会出现误判的情况，再者接触性的装置会大大的影响驾驶员的自由活动，还会因为个体或环境的差异(诸如近视眼镜、男女性别、路况、光线等)受到不同程度的影响。因此，研究如何利用图像处理技术、机器视觉技术、人脸识别技术等疲劳检测方法相结合，找到一种准确的、实时的、非接触式的驾驶员疲劳检测系统是当前的研究重点，也是本文的初衷。

1.3本文研究内容

随着各种类型的汽车的相继增多和人们日益加大的工作强度，导致了在驾车过程中由于疲劳驾驶出现的交通事故随之增多，对人们的人身安全造成了很严重的威胁。本文以疲劳驾驶作为研究对象，分析司机在驾驶的过程中一般会出现的疲劳状态以及这些状态的表现形式，在此基础上，通过前置摄像头对司机面部图像进行实时处理来判定司机是否处于疲劳状态，且司机在驾驶过程中面部会一直处于固定的区域，摄像头能稳定的捕捉到驾驶员的面部信息。本文方案针对驾驶员用这种方式进行疲劳检测，只需要一个摄像头，不会对司机的正常驾驶产生干扰，简单易行，实时性很强，且驾驶员面部能占据摄像头绝大部分区域，像素一定，人脸在图片中占据的比例越大，则越能凸显出脸部特征，针对驾驶员疲劳检测的准确性也会越高。

疲劳驾驶是一个极为复杂的生理现象，直至目前为止，国际上对疲劳驾驶也缺少共同的认识和严格的定义。疲劳状态的判定是依据某一准则对驾驶员的状态进行分析并作出判断，目前主流的视觉特征检测驾驶员疲劳的方法是对驾驶员的眼睛、嘴部、头部姿态等分析以获取驾驶员的疲劳程度，本文疲劳判定的依据是以眨眼频率和哈欠深浅判断疲劳状态。在疲劳状态时，人们会表现出很多外部特征，包括精神上的和身体上的，研究发现，面部的信息是对疲劳状态最好的反映。从这个角度出发进行疲劳判定，最关键的是要研究出能够在较短时间内较准确地检测出驾驶员是否疲劳的方法。据研究表明，人在进入疲劳状态之前，眨眼频率较低，而当疲劳程度增加，眨眼频率将会增加^[8],虽然人在疲劳时眨眼时间会变长，会对眨眼次数会有所影响，但从眨眼次数的总体上看，眨眼次数随着疲劳程度增加而增多^[9]。眨眼频率这一参数可以作为驾驶员疲劳状态判断的标准。这也是目前被公认的检测疲劳状态的参数之一^[10]。打哈欠也是疲劳表现的一个显著的特征^[11]，结合眨眼频率变高和打哈欠两种特征，通过面部特征点检测提取出眼睛和嘴巴的特征点，判断出疲劳状态。

本次课题使用Dlib检测视频流中的眨眼次数和打哈欠时间并判断疲劳状态。近几年来, Python的发展非常迅猛,从众多的编程语言之中脱颖而出，Python语言之所以能够获得程序员们的喜爱, 得益于其代码开发的高效性和源代码开源性。Python社区提供了很多第三方库,能够实现数据分析、数据可视化、科学计算等多个领域, Dlib库就是其中一个知名的第三方库, 能够实现对人脸的检测和识别。本课题基于Dlib通过面部特征确定出一个准确高效，实时性强的疲劳检测方法，并确保此方法在检测人脸的时候不会影响到疲劳时表现出的面部特征。

主要研究内容如下：

1. 人脸检测：鉴于传统的人脸检测方法在面部检测过程中较易受到背景颜色及噪声、天气、光照等外界环境变化影响的问题。本次方案采用HOG特征进行人脸检测，也就是基于方向梯度直方图实现的人脸检测^[12]，能更准确的定位其形状，确定出人脸的位置。
2. 面部特征提取：人脸定位后，采用Dlib中基于回归决策树ERT算法^[13]的landmark模型提取脸部特征，将得到的特征点进行分析处理得出面部状态。
3. 疲劳识别:在驾驶员面部特征提取出来的基础上，对特征点的坐标进行定位，从而得到驾驶员眼部和嘴巴的高宽比实现对驾驶员疲劳状态的检测。

1.4本文结构安排

本文结构安排如下：

第1章绪论：主要介绍了对疲劳驾驶研究的目的和意义，以及关于国内外疲劳检测方法和应用的研究，并阐述了本文的研究内容以及行文结构安排。

第2章机器学习理论：主要介绍了机器学习理论的概念并着重介绍了方向梯度直方图（Histogram of Oriented Gradient, HOG）特征原理和ERT集成回归决策树的算法原理。

第3章基于人脸特征的疲劳检测：本部分主要介绍以眼睛纵横比（EAR）和嘴巴内轮廓的张口度为原理检测眨眼次数和哈欠并判断疲劳状态。

第4章总体方案检验。对本文的疲劳检测方案进行检验，检验实际识别效果是否达到预期。

第5章总结与展望。本部分对此次研究工作进行总结，分析遇到的问题，并对进一步研究方向作出展望。

第2章 机器学习理论

2.1机器学习

2.1.1机器学习介绍

机器学习简单来说就是通过处理大量的数据，找出这些数据存在的规律，能将这一规律运用到其他不确定的场合并作出决策。机器学习涉及的学科非常之广，它涉及到概率论、信息论、线性代数和计算机科学等，是一门综合性的学科。机器学习被当作为第4次工业革命的技术基础，所有先进的领域或多或少都用到了机器学习，包括现在非常流行的深度学习也是属于机器学习的部分。如今机器学习算法被广泛的运用于各个领域，对人类社会产生了深远的影响。

2.1.2机器学习分类

1、监督学习

监督学习就是有明确的分类目的和分类依据,能够对分类进行预估，主要使用在分类与回归方面，目前主流的监督学习算法有线性回归，决策树,逻辑回归,朴素贝叶斯算法等。有以下几种常用监督学习算法：

（1）朴素贝叶斯算法：

朴素贝叶斯算法的主要原理是通过利用数学的方式进行逻辑推理来解决生活中的实际问题, 朴素贝叶斯算法具有直观，计算量也不大的优点，广泛的应用在很多领域，假设一个事件成立，在这个条件下求另一事件可能发生的几率, 如式（2.1），即P(A|B)(假设B事件的成立求A发生的几率)等同于同时发生AB事件的概率与B事件发生概率的比值，其比值为:

（2.1）

（2）梯度提升回归树算法（决策树的一种）：考虑到单一的决策树的学习能力比较弱,可靠性不高，容易出现过拟合的情况, 因此在实际的使用过程中，通常采用集成多种弱学习器的决策树方法。梯度提升回归树算法可主要分为Boosting和Bagging这两类, Boosting类算法家族中最经典的算法当属Adaboost算法了, Adaboost算法的主要原理是先赋与每一个样本相同的权重比例,然后使用决策树的方法来训练模型,并每一次都会加重负样本的权重比例,把正样本的比例降低,主要对负样本进行关注,经过N多次的迭代,会有N多个分类器产生,然后加大正确率高的分类器的权重比例,降低低正确率的分类器的权重比例, 最后对这些分类器进行加权求和计算得出最终的模型。因此梯度提升算法的收敛效果更好更快、所需训练的时间也更少,模型的精度也更高。

2、无监督学习

无监督学习是无目标信息与目标值的,在将信息转化成数据后,由计算机进行分析和处理后找出数据的规律来进行信息的分类。k-means算法是常见的无监督算法之一，k-means算法是将大量的信息转换为数据,并把相似有规律的数据分为一类。如图2.1 k-means算法示意图，四个相似的数据集被集成到四个类中，通过计算机对其进行处理。(1)随机取k个种子点。(2)分别求出种子点与其它所有点群中心的距离，并将其归入进最近的点群。(3)将种子移动到该点群中心。(4)重复2， 3步直至种子点不再发生移动。

图2.1 k-means算法示意图

2.2 人脸检测原理

2.2.1方向梯度直方图（Histogram of Oriented Gradient, HOG）特征

HOG特征的简介：Dlib的人脸检测是基于HOG的，方向梯度直方图特征是一种能够在图像处理中描述物体特征的特征方法。HOG特征通过计算并统计图像局部区域的梯度方向是直方图^[14]来描述特征。

1、主要思想：通过梯度信息找出图像的边缘信息，再通过局部的梯度处理使图像局部区域的特征具现化。如今Hog特征 SVM分类器被广泛的运用到了图像处理重，特别是在对移动的行人检测中获得了巨大的成功。

2、实现方法：对图像进行处理，把图像分为多个小的连续的区域，这些小的区域被称为细胞单元，分析这些小的区域中所有像素点的边缘和梯度特征，再把这些特征结合起来并用来描述图像的整体特征。

3、提高性能：对局部区域以外的像素进行对比度的归一化处理，并再更大的范围的区域进行归一化，从而提升算法的性能。

2.2.2 HOG特征的优势

相较于其它的特征描述方法，HOG特征有许多的优势。首先，HOG是在图像局部像素单元上进行操作，如果图像产生了光学的和几何的形变，HOG特征描述并不会受到影响，因为这些形变只会影响到更大的像素区域，所以在光照变化的条件下也能很好的进行人脸检测。其次，HOG特征不仅能对精细的区域进行抽样，也能在粗的空域方向进行抽样。在这重条件下，只要行人能保持大体的人体轮廓，允许行人做出一些肢体动作，这些细微的肢体动作基本不会影响到检测的效果。因此HOG特征非常适合用于图像中的人体检测。

2.2.3人脸检测原理

Dlib是一个知名的第三方库，里面包含了机器学习工具和算法的现代C 工具包，能在C 中创建出解决现实问题的综合软件，被广泛的应用于学术和工业界，包括嵌入式设备、机器人、和大型高性能的计算环境。Dlib中集成了许多人脸检测算法相关功能，可以很方便的运用到人脸检测项目中去, Dlib中的人脸检测采用的是HOG特征 SVM分类器实现的，其准确率达到了99.98%。其过程可概括为:(1)对图像进行灰度处理。(2)标准化图像的颜色区域。(3)计算图像中所有像素的梯度。(4)将图像分为许多小的区域。(5)得出每个区域的梯度直方图。(6)将所有区域组成为一个大的归一化的梯度直方图。(7)得到HOG特征描述向量。

2.3 人脸特征点提取

2.3.1 ERT算法简介

AI时代，机器学习算法成为了研究、应用的热点当前最火的两类算法莫过于神经网络算法（CNN、RNN、LSTM等）与树形算法（随机森林、GBDT、XGBoost等），树形算法的基础就是决策树。决策树因其易理解、易构建、速度快的特性，被广泛应用于统计学、数据挖掘、机器学习领域。目前流行的脸部特征提取算法主要有ASM(active shape model)，CLM(constrained local model)，ERT（ensemble of regression ）本次课题选择的是Dlib库中的landmark模型（ERT集成回归决策树），即基于梯度提升的学习回归树方法。

基于Dlib本次课题通过ERT算法训练出人脸68特征点模型用于提取脸部特征点^[15]，由于Dlib中提供了人脸特征点训练器，使得训练此模型的效率更高，特征点提取的效果更好，提取出的人脸特征点的精度更高。高精度的人脸特征点为计算特征点的2D坐标方式来分析判断疲劳状态这一方式提供了保障，使得疲劳检测的误差更小。

2.3.2 ERT模型的建立

ERT模型是一种基于回归的决策树方法, 假设S=代表所有图像上的特征点坐标或形状,用级联回归的方法来建立出ERT模型。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：