摘 要

随着我国经济的快速发展，汽车持有量也因此不断提高，致使道路交通负担日益沉重，各种交通事故频发。其中，疲劳驾驶就是造成交通事故的一个重要原因。疲劳驾驶具有一定的隐蔽性，因此对其行为进行精准的监测与预警，可以有效减少交通事故的发生，营造安全的行驶环境。

本文提出了一种基于驾驶员多特征信息检测方法监测驾驶员疲劳驾驶状态，监测眼部开合状态、头部姿态估计、视线凝视方向；在已有研究基础上，本文进行了驾驶员疲劳驾驶状态监测算法研究，避免了穿戴检测设备造成的不便，保证了在受面部表情、遮挡、环境光线、妆容和配饰等影响下，具有高检测率和较好的鲁棒性。

本文研究内容主要包含以下几个方面：

1、本文通过摄像头实时监测驾驶员，获取脸部信息，采用一种利用神经网络专家(CEN)作为局部检测器的受约束的局部模型(CLM)进行人脸关键点检测，脸部关键点检测所得坐标信息将作为计算疲劳状态的基础。

2、在CE-CLM模型中，3维坐标表示人脸关键点，使用正投影将其投影到图像上。利用3D人脸模型到图片中人脸的仿射变换矩阵的旋转信息，计算驾驶员头部姿态，将旋转向量转换为欧拉角，获得头部姿态估计。

3、通过人脸关键点，计算出眼球中心位置，检测眼睑，虹膜和瞳孔，通过其位置计算每只眼睛的视线方向。瞳孔位置为相机坐标系原点与图像平面中瞳孔的中心交点，视线凝视方向为眼球中心到瞳孔位置的向量。

4.通过监测驾驶员多种特征信息，判断驾驶员疲劳程度：基于人脸关键点检测，对眼部开合状态采用PERCLOS判断疲劳程度；基于驾驶员头部姿态估计判断驾驶员疲劳程度；基于驾驶员视线凝视方向判断驾驶员疲劳程度。

关键词：疲劳检测；人脸关键点检测；头部姿态估计；视线凝视方向

Abstract

With the development of economical, the number of cars continues to increase, with an increasingly heavy road traffic burden and frequent traffic accidents. Fatigue driving has the nature of concealment. Effective monitoring and early warning can effectively reduce traffic accidents and create a safe driving environment.

This thesis proposes a fatigue driving state detection based on monitoring the driver's driving state through various characteristics, which includes the facial landmark detection, head pose estimation; and gaze direction and avoids interference with the driver's normal operation due to wearing monitoring equipment. And it guarantees high detection rate and good robustness under the influence of facial expression, occlusion, ambient light, makeup and accessories.

The research content of this thesis mainly includes the following aspects:

1. Constrained Local Model (CLM) uses Convolutional Experts Network (CEN) as a local detector to detect facial landmark. In this thesis, the driver is monitored by the camera in real time to obtain facial information, and the coordinate information obtained by detecting key points of the face will be used as the basis for calculating the fatigue state.

2. CE-CLM model is able to use the 3-dimensional coordinates to represent facial landmark, which are projected onto the image using orthographic projection. Using the rotation information from the 3D face model to the affine transformation matrix of the face in the picture, the driver's head pose is calculated, and the rotation vector is converted into Euler angles to obtain the head pose estimation.

3. This thesis use the facial landmark detection to calculate the gaze vector of each eye through its position. The pupil position is the intersection of the camera origin and the center of the pupil in the image plane, and the gaze vector is the vector from the center of the eyeball to the pupil position.

4. Monitoring the driver's driving state through various characteristics judges the driver's fatigue level: based on the detection of facial landmark, using PERCLOS to judge the fatigue level with the eye opening and closing state; based on the driver's head posture estimation; based on the driver's gaze direction.

Key Words: driver fatigue detection; facial landmark detection; head pose estimation; gaze direction

目录

摘要 I

第1章 绪论 1

1.1 研究背景与意义 1

1.2 国内外研究现状 1

1.2.1 国外研究现状分析 2

1.2.2 国内研究现状分析 3

1.3 本文的研究内容和创新的 4

1.3.1 本文的研究内容 4

1.3.2 本文的创新点 5

1.4 本文的章节分布 5

第2章 驾驶员疲劳驾驶状态监测方法研究 7

2.1 驾驶员疲劳驾驶监测方法总体设计 7

2.2 人脸检测与人脸关键点检测 8

2.3 头部姿态估计 8

2.4 视线凝视方向 9

2.5 本章小结 9

第3章 人脸检测与人脸关键点检测方法 10

3.1 人脸检测理论基础 10

3.2 HOG特征人脸检测 11

3.2.1 HOG特征人脸检测 12

3.2.2 人脸检测实验结果 14

3.3 CE-CLM模型人脸关键点检测 15

3.3.1 人脸关键点检测算法 15

3.3.2 人脸关键点检测实验结果 17

3.4 本章小结 17

第4章 头部姿态估计 18

4.1 头部姿态估计概述 18

4.2 头部姿态估计检测 18

4.2.1 相机标定和相机内参 19

4.2.2 欧拉角计算 23

4.3 头部姿态估计实验结果 25

4.3.1 相机标定和相机内参实验结果 25

4.3.2 头部姿态估计实验结果 26

4.4 本章小结 26

第5章 视线凝视方向 27

5.1 视线凝视方向检测 27

5.2 视线凝视区域 28

5.3 本章小结 29

第6章 疲劳驾驶状态监测实验结果分析 30

6.1 疲劳驾驶状态评判基准 30

6.2 疲劳驾驶监测实验结果 32

6.3 疲劳驾驶监测实验结果分析 37

第7章 总结与展望 39

参考文献 40

附录 43

致谢 62

第1章 绪论

1.1 研究背景与意义

随着我国经济的飞速发展，汽车的普及率越来越高。据国家统计局统计公报显示，2019年末，民用汽车保有量2.615亿辆，比2018年末增加2122万辆；私人汽车保有量2.2635亿辆，相比2018年末增加1905万辆。因此汽车持有量也不断提高，致使道路交通负担日益沉重，各种交通事故频发。统计表明^[1]，重大事故发生率约有10%由于驾驶员疲劳驾驶造成。据我国卫生部门统计^[2]，近年来由交通事故导致的死亡人数不断上升，年增长率超过10%，经分析，其中很大部分事故为驾驶员疲劳驾驶导致。在这一背景下，交通事故的预防和原因分析已成为越来越重要的问题。据高速网报道，2016年，787起交通事故在京沪高速淮安段共发生，52.6%事故因疲劳驾驶导致；疲劳驾驶导致高危车辆发生交通事故的现象更为严峻，由沃尔沃主导的对中国交通事故数据显示^[2]，重卡驾驶员由于疲劳驾驶引发的交通事故占73%。因此，驾驶员疲劳驾驶状态的监测，是实现减少由于疲劳驾驶引发的交通事故，营造安全的行驶环境的重要举措。

疲劳驾驶已经成为交通事故的重要原因，由于疲劳驾驶受驾驶员自身状况与驾驶环境的双重影响，具有相当的隐蔽性，同时疲劳驾驶状态的界定存在诸多影响因素。疲劳驾驶对驾驶员反应能力与决策能力造成了极大影响，往往造成较严重的后果，对自身和他人生命财产安全造成严重威胁。对交通事故的分析表明^[3]，若能在不影响行车安全的情况下，对驾驶员的驾驶状态进行实时监测，且在驾驶员有疲劳驾驶倾向时进行警告，将减少80%由于疲劳驾驶引发的交通事故。因此，驾驶员疲劳驾驶状态监测，并予以一定的警示，可以大幅度减少交通事故的产生，减少财产损失，有着积极的社会效益与研究意义。

1.2 国内外研究现状

早在上个世纪，疲劳驾驶就已被人们关注。早期疲劳驾驶评估通过医疗设备监测生理信息判断驾驶员疲劳程度。随着技术的发展，传感器、计算机视觉、深度学习等领域都对驾驶员疲劳驾驶监测方法提供了更广的途径，改善了先前检测条件苛刻，过程复杂等问题。