论文总字数：22297字

摘 要

目前，随着中国经济的快速发展，中国道路交通基建的规模越来越大，交通运输业发展迅速。但是，交通事故的数量也在不断增加。其中由于驾驶员疲劳驾驶造成了大量交通事故，造成了相当严重的人员伤亡和财产损失。为了避免汽车驾驶员在疲劳状态下还强行去驾驶汽车，本课题提出一种基于深度学习的疲劳检测算法来检测司机是否处于疲劳状态。

该系统由人脸检测、特征点定位、眼睛和嘴部提取、眼睛睁开度和嘴部睁开度估计、融合数值参数和卷积神经网络模块组成。通过使用Dlib提供的训练好的人脸识别工具包，提取68个人脸关键点中的左眼、右眼和嘴部共32个关键点，计算出EAR(眼部开放度)和嘴部判别指标 MAR (嘴部开放度)，再绘制一分钟EAR和MAR值的变化图形，将绘制好的图形导入使用Tensorflow搭建好的深度学习CNN卷积神经网络中，分析一段连续时间内驾驶员视觉特征（眼部和嘴部变化情况）进行疲劳判断。

实验结果表明，该系统具有较高的准确性和实时性，适用于复杂光线情况下对于驾驶员的状态进行监控。相比于传统的疲劳检测方法，该系统具有更高的检测精度。

关键词：疲劳检测；深度学习；人脸检测；特征点定位；卷积神经网络

Abstract

At present, the global economy is developing rapidly, China's road traffic and other infrastructure are being built on a large scale, and the transportation industry is developing rapidly. However, the number of traffic accidents increases with the number of cars. A large number of traffic accidents caused by fatigue driving of drivers have caused quite serious casualties and property losses. In order to prevent the driver from driving the car under fatigue, this topic proposes a fatigue detection algorithm based on in-depth learning to detect whether the driver is in fatigue.

There are face detection, feature point location, eye and mouth extraction, EAR and MAR estimation, fusion of EAR and MAR parameters, CNN neural network module in the system. By using the trained face recognition kit provided by Dlib, a total of 32 key points of left eye, right eye and mouth in 68 face key points are extracted, EAR (eye opening degree) and mouth discrimination index MAR (mouth opening degree) are calculated, then a change graph of EAR and MAR value is drawn for one minute, the drawn graph is imported into a depth learning CNN neural network built by Tensorflow, and driver visual characteristics (eye and mouth changes) in a continuous period of time are analyzed for fatigue judgment.

The experimental results show that the system that is suitable for monitoring the driver's state in complex light situation has high accuracy and real-time performance. Compared with the traditional fatigue detection method based on CNN, the system has higher detection accuracy.

Keywords: fatigue detection; in-depth learning; face detection; feature point location；CNN

目 录

第1章 绪论 1

1.1 研究背景及意义 1

1.2 课题国内外研究现状 2

1.3 论文的主要研究内容 3

1.4 本文的组织结构 4

第2章 环境介绍 5

2.1 系统开发背景及环境 5

2.2 系统框架详细设计 6

2.3 核心模块 6

2.3.1 基于Dlib的人脸特征点提取 6

2.3.2 基于Tensorflow的神经网络搭建和训练 7

第3章 算法设计 8

3.1 人脸检测与特征参数提取 8

3.1.1 EAR的计算 8

3.1.2 MAR的计算 9

3.2 卷积神经网络 10

3.2.1 卷积层 11

3.2.2 池化层 13

3.3 疲劳状态识别算法 14

3.4 检测流程 16

第4章 实验结果与分析 18

第5章 结论 22

5.1 总结 22

5.2 展望 22

参考文献 24

致谢 26

第1章 绪论

1.1 研究背景及意义

近十几年来，中国道路交通基建的规模随着中国经济的快速发展越来越大，交通运输业发展迅速。汽车虽然给人们的日常生活通行带来的便利，但频繁发生的交通事故严重危害了人们的生产出行和社会的稳定发展^[1]。

表1.1 2010年至2019年道路交通事故统计

从表中不难发现，我国每年交通事故发生次数在二十万左右，导致的车祸死亡人数在六万左右。有关研究表明，交通事故由两方面的原因造成。第一，不良的天气情况、道路环境和车辆状况干扰了驾驶员的正常安全驾驶；第二，影响驾驶员正常安全驾驶机动车的因素还有驾驶员自身的身体状态和精神状况，特别是一部分交通事故是由酒后驾驶和疲劳驾驶引起的。有研究表明，由驾驶员疲劳驾驶造成了大约60%左右的事故和40%左右的重大事故，造成了相当大的人员伤亡和财产损失。以上材料表明，疲劳驾驶已经严重影响了人们的日常出行安全，如何有效的减少由疲劳驾驶引起的交通事故，成为全球急需解决的一个问题^[2]。

随着我国法律法规的不断完善和健全，对驾驶员的疲劳驾驶行为的关注度越来越高了，《道路交通安全法》中的第十九条十一款规定了^[3]：“连续驾驶机动车超过四小时，期间未停车休息或停车休息少于二十分钟的处警告或者两百元罚款，并记两分。”虽然法律法规对酒后驾驶和疲劳驾驶进行了约束。但是以持续驾驶的时间作为评判是否疲劳驾驶的标准，由于驾驶时段、驾驶环境和驾驶员的身体状态不同，导致这个标准可靠性不高，尤其是对一些自我约束力不强的驾驶员不能形成有效的约束和监督。不像酒后驾驶和醉酒驾驶等违法行为可以通过酒精检测进行简单且可靠的检测，使得其具有很强的主观性和隐蔽性。而且由于没有法律上的强制约束，人们对疲劳驾驶的警惕性严重不足于酒后驾驶。

相关研究表明，60%的交通事故在很大程度上能通过提前0.5秒提醒驾驶员来避免或者减小事故伤害大小。因此，了解驾驶员疲劳机制，设计一种可靠的能自动获取驾驶员疲劳特征、准确快速识别疲劳状态的疲劳检测系统是目前亟待解决的问题。为了避免汽车驾驶员在疲劳状态下还强行去驾驶汽车，本课题提出一种基于深度学习的疲劳检测算法，检测司机的眼部和嘴部特征来判断是否处于疲劳状态。当驾驶员在疲劳时还强行去驾驶汽车时，对司机发出警报，避免危险的发生。这对减少由疲劳驾驶引起的交通事故发生的概论，保障驾驶员、乘客和道路人员的生命和财产安全有都有积极显著的社会意义和经济价值，这也迎合当前汽车行业所提倡的智能化和安全化的发展趋势。

1.2 课题国内外研究现状

对于疲劳驾驶带来的危害，各国的研究机构和研究人员都投入了大量时间和精力到疲劳检测的研究中，致力于开发出更准确的疲劳检测方法来避免疲劳驾驶而带来的生命财产损失。国内对疲劳驾驶的相关研究相比国外晚很多，国外关于疲劳驾驶的文献早在1987年就已经发表，1986年取得第一项关于疲劳检测的专利。国内在近二十年来，随着经济不断发展，汽车保有量不断提高，大量科研人员投入到疲劳检测的研究中，大量于疲劳检测相关的研究成果出现。

请支付后下载全文，论文总字数：22297字