基于面部视觉的疲劳检测-哈欠

基于视觉的疲劳检测可以认为大致分为三个部分，点头，哈欠，眨眼。分别为姿态、嘴部特征、眼部特征。

本文主要介绍哈欠的测定方法。

首先研究了陈博士《基于可拓学与面部视觉。。。》一文，他提出一种基于特征点曲线拟合的嘴唇内轮廓检测方法，先对嘴巴进行粗定位，然后对嘴巴区域进行Harris角点检测，利用检测到的角点坐标拟合出嘴巴内轮廓曲线。【角点检测+二次曲线拟合】

内轮廓具有的优点为：准确的张口度；头部较大旋转仍能计算张口度。

什么是角点 ：角点没有明确的数学定义,但人们普遍认为角点是 二维 图像亮度变化剧烈的点或图像边缘曲线上 曲率 极大值的点。

1、P46： 嘴巴粗定位、角点检测Harris角点检测算法 【OpenCV中定义了cornerHarris函数】、嘴巴内轮廓模型

2、最小简闭二乘法获取内轮廓线（分段二次函数拟合）

http://blog.csdn.net/xiaowei_cqu/article/details/7805206

P61起：

3、基于嘴巴内轮廓的张口度计算公式为：

4、指标：

双阈值法哈欠检测：

对内轮廓进行检测：结合张口度与张口时间

5、判定方法

判定方法一：

首次判决：根据张口度大小进行初判；然后根据时间进行首次判决，对于在条件区域的哈欠进行二次判决。

二次判决：对应于嘴小的人，此时降低张开度判决门限后，记为

（降低后的门限），若此时持续125帧以上，则可判定为哈欠。

列表如下：

论文所给参考阈值：

在区分无哈欠、哈欠、深哈欠时：（利用连续时间的长短区分）一般为3s超过3s为长哈欠（深哈欠），2.5-3s为哈欠。

M-时序构建：p88

在长度为Lt秒时间窗内利用阈值对悔局张口度值进行二值化。

时间窗内连续1的最大个数占总二进制位数的比例记为M，当M达到阈值才确定为哈欠，设l表示ti时刻时间窗内连续1的个数，表示最长的连续1的个数，则

将时间窗内连续1的最大个数占总二进制位数的比例M沿时间轴构成时间序列 ，记为记为

对M-时序进行分段并标记0、1、2分别代表无哈欠、浅哈欠、深哈欠。

判定方法二：

Yawn为符合打哈欠的帧数，N为1min内总帧数，设阈值为10%，当Freq>10%时认为打了一个深度哈欠或者至少连续两个浅哈欠，此时给出疲劳提醒。

Step1：提取帧图像检测人脸，嘴部粗定位进行肤色分割；

Step2:嘴部精确定位，获取嘴部特征值K1，若k1大于阈值T1，则Step3,；否则K2=K1/2，count=0回到step1，检测下一帧。

Step3:提取嘴部内轮廓特征值K2，若K2大于阈值T2，则Step4，否则count=0,返回Step1，检测下一帧。

Step4:统计哈欠特征count=count+1,当count超过阈值且下一帧的哈欠特征消失，保存count到Yawn，Yawn(i)=count，count=0（count清0）回到Step1，否则的话也直接转回Step1。

Step5:分析完1min内所有图像，计算哈欠特征总数：

，按照

计算Freq值，超过阈值则发出疲劳提醒。（推荐阈值为0.1）

特征提取方法

嘴部特征提取的方法1：

Landmark可进行粗拦前裂定位。48点、54点  上下可能定位不准确。

50 52 58 56

Gabor变换，将原嘴部图像与Gabor核函数卷积。

对嘴部图像做垂直方向的Gabor变换，然后再经过二值化得到内部轮廓。

第三列为垂直Gabor变换后结果，第四列为第三列二值化后的结果。

实现方法可参考如下博文：

http://blog.csdn.net/u013709270/article/details/49642397

SUSAN算子

嘴部特征提取方法二：

方差投影法进行粗定位

角点检测Harris角点检测算法 【OpenCV中定义了cornerHarris函数】

再进行分段二次函数拟合。

实现程序：opencv人脸及角点检测

Harris角点效果并不很理想，总是会把牙齿部分作为角点，显然与内嘴唇相差较远。

6、决策：

1、论文中表述：只要产生打哈欠的动作即归类为“疲劳”。

连续70帧进入哈欠预备期，通过统计连续张嘴的时间长度（帧数）来确定哈欠的深浅，累计打哈欠时间在10s以上则判为重度疲劳。

单位时间（1min）内：（25帧/s）

1min打一次浅哈欠为轻度疲劳，1次一般哈欠为中度疲劳，或2次为中度疲劳。

2次深哈欠为重度疲劳。

3-4s浅哈欠；4-5s为深哈欠。

测得为哈欠的连续帧数即保存起来，记录1min内哈欠的次数。

//另一种计算哈欠特征总数：，按照计算Freq值，超过阈值则发出疲劳提醒。（推荐阈值为0.1）

2、 进行加权评分：基于眼睛和打哈欠的特征进行融合决策（打分，以模糊度表示）

一、引入进化超图网络对全生命周期中产品过程信息进行形式化表达。

二、给出了此问题的形式化描述，并将问题归约为一种关于多边形运动规划的等价形式。

三、但适当的合同参数下，使用这种形式化策略，通过供需双方博弈供需链能够达到稳定状态。

四、论文第四部分总结了马克思主义在中国的民族形式化的历史发展。

五、论文探讨了如何将可视化建模语言UML和形式化描述语言Z集成而得到一种新的求精方法，寻求一种在软件体系结构求精过程中UML到Z的映射与转换机制。

六、第五章对比了常用软件测试方法，讨论了形式化方法的基本概念、数学预备知识和形式化规约语言。

七、这些观察允许我们形式化反射的定义：反射是欧几里得空间的对合等距同构，它的不动点集合是余维度为1的仿射子空间。

八、可拓学是用形式化的模型研究事物拓展的可能性和开拓创新的规律与方法，并用于解决矛盾问题的新学科。

九、盘算机科学家用完全形式化的方式来证明程序同功能归约的一致性，保证程序的准确性。

十、基于霍尔的“通信顺序进程”和相关的网络形式化的理论研究结果，提出了一种网络故障管理的形式化方法。

十一、给出了数据分布树的形式化定义，构造了基于数据分布树的数据均衡分布机制、抗数据偏斜的JOIN算法。

十二、非形式化平衡设计图上的各元素，用不对称的方式做成平衡的效果。亦称不对称平带御衡，动态平衡。

十三、但是，在现今的语文课堂中，互动教学出现了形式化、客观化、垄断化的互动等等。

十四、并给出了线性表的严密的描述性定义和形式化定义。

十五、本文利用树突树的冲激响应对分布参数突触联接进行了形式化描述。

十六、首先定义选择函数并给出理性选择函数的形式化描述。

十七、进一步的工作是在公共语义模型的基础上，用形式化的方法和统一的数据格式表达零件库信息，建立零件库信息模型，以实现零件库资源共享。

十八、它使归纳逻辑向形式化和数量化的研究方面前进了一大步。

十九、标举自然与清丽，强调性情本体的恰当形式化，是刘勰诗学观的重要美学命题。

二十、所谓形式化，是指虽然了解农户的发展需要，但在流域规划的内容中并没有体现出农户共同的发展愿望。

二十一、他在离我近在咫尺的地方，一切一切却像走廊里的灯光，白色、平板而形式化。从来没有什么爱情故事在这样的光泽下发生的吧，他们理当只能属于夕阳、霓虹、星光，或者烛火吧，一点儿呼吸的变动也将带动气流影响它的闪动，[形式化造句zaojv]飘忽的灯焰象征女主角那个瞬间的动了心。

二十二、在许多情况下，两者都产生外部元数据：从单调的英语到结构化或非结构化数据，到更形式化RDF表达方法，但所有数据都参考使用了URI。

二十三、针对映射整体定义了一种域映射规则，给出了域映射过程的数学语言形式化描述。

二十四、逻辑演算对推理形式裤困有效性的研究，比传统逻辑更抽象、更严格，其原因是形式化方法的运用。

二十五、空间方向关系是描述空间目标间位置分布的一类基本空间约束，在GIS中是由形式化模型描述的。

二十六、本文在介绍模态逻辑的基础上，提出了一种对知识和信念进行形式化研究的汉语信息过滤新算法。

二十七、并通过将更新 *** 作算子定义为原子事件

将每次地籍图形变更的更新处理 *** 作过程定义为一个复合事件

尝试用EPL语言对地籍图形变更的更新 *** 作过程进行了形式化描述.

二十八、苏联解体的一个重要原因就是理论创新的缺失与异化蠢纯岩，主要表现在凝固化、教条化、形式化、单调化、主观化、片面化、行政化。

二十九、为满足联锁软件黑箱测试的要求，对联锁软件安全性需求进行了分级形式化表达。

三十、文中所提出的控制归约与或图，实际上为设计专家控制器示范了一种形式化的方法。

---