疲勞檢測(cè)在安全駕駛方面是一個(gè)很熱門的話題，本質(zhì)上是一個(gè)機(jī)器視覺的任務(wù)。本文章將講解疲勞檢測(cè)的實(shí)現(xiàn)過程，并使用python，opencv、dlib庫來實(shí)現(xiàn)疲勞檢測(cè)。

首先疲勞檢測(cè)的原理其實(shí)是通過檢測(cè)眼部的眨眼動(dòng)作來判斷一個(gè)人的疲勞狀態(tài)，正常在駕駛的時(shí)候眼睛是不會(huì)發(fā)生多次數(shù)的閉眼的，當(dāng)人處于疲勞，犯困的時(shí)候，眼睛會(huì)不自覺的閉上。我們可以通過抓住這一點(diǎn)，利用攝像頭來抓取畫面，來判斷一個(gè)人是否是疲勞狀態(tài)。

要判斷眼睛的狀態(tài)，首相我們需要定位找到眼睛的位置。Dlib模塊提供了人臉關(guān)鍵點(diǎn)檢測(cè)器，可以幫助我們找到人臉的68個(gè)關(guān)鍵點(diǎn)的位置，包括眼睛。

在關(guān)鍵點(diǎn)定位的官方文檔中，提取68個(gè)關(guān)鍵點(diǎn)來表示臉上的部位。其中：

第1個(gè)點(diǎn)到第17個(gè)點(diǎn)：臉頰；

第18個(gè)點(diǎn)到第22個(gè)點(diǎn)：右邊眉毛；

第23個(gè)點(diǎn)到第27個(gè)點(diǎn)：左邊眉毛；

第28個(gè)點(diǎn)到第36個(gè)點(diǎn)：鼻子；

第37個(gè)點(diǎn)到第42個(gè)點(diǎn)：右眼；

第43個(gè)點(diǎn)到第48個(gè)點(diǎn)：左眼；

第49個(gè)點(diǎn)到第68個(gè)點(diǎn)：嘴巴。

如下圖所示：

因此我們需要用到dlib模塊，同時(shí)還需要機(jī)器視覺庫opencv和距離計(jì)算模塊scipy.spatial（后面會(huì)講述到如何應(yīng)用）

1、首先導(dǎo)入相關(guān)的模塊：

from scipy.spatial import distance as dist

import numpy as np

import dlib

import CV2

2、對(duì)臉上的部位進(jìn)行定義，把檢測(cè)到的關(guān)鍵點(diǎn)按照順序定義好，方便后邊當(dāng)作數(shù)據(jù)的索引調(diào)用

FACIAL_LANDMARKS_68_IDXS = dict([

("mouth", (48, 68)),

("right_eyebrow", (17, 22)),

("left_eyebrow", (22, 27)),

("right_eye", (36, 42)),

("left_eye", (42, 48)),

("nose", (27, 36)),

("jaw", (0, 17))

])

3、定義EAR（eye aspect ratio）計(jì)算函數(shù)，dlib模塊只是幫助我們定位眼睛關(guān)鍵店的位置，后續(xù)的計(jì)算工作：例如何如判斷眼睛閉眼需要我們通過算法去實(shí)現(xiàn)。在論文：Real-Time Eye Blink Detection using Facial Landmarks中，EAR的概念被提出。

在包含著人眼的圖片中畫出六個(gè)點(diǎn)，如圖所示：

當(dāng)人眨眼時(shí)，這六個(gè)點(diǎn)的距離會(huì)發(fā)生變化，則可以用這六個(gè)點(diǎn)的一些距離關(guān)系來判斷是否有眨眼行為。

定義EAR函數(shù)：

我們可以結(jié)合論文公式和我們檢測(cè)到的位置數(shù)據(jù)，定義出計(jì)算眼睛的ear值：

def eye_aspect_ratio(eye):

# 計(jì)算距離，豎直的

A = dist.euclidean(eye[1], eye[5])

B = dist.euclidean(eye[2], eye[4])

# 計(jì)算距離，水平的

C = dist.euclidean(eye[0], eye[3])

# ear值

ear = (A + B) / (2.0 * C)

return ear

4、設(shè)置判斷參數(shù)

如果EAR小于0.3，則判斷為閉眼，如果視頻中有連續(xù)三幀以上都有閉眼，則判斷為眨眼行為。

# 設(shè)置判斷參數(shù)

EYE_AR_THRESH = 0.3 # ear小于0.3判斷為閉眼

EYE_AR_CONSEC_FRAMES = 3 # 連續(xù)三幀ear都小于0.3判斷為眨眼

# 初始化計(jì)數(shù)器

COUNTER = 0

TOTAL = 0

5、加載dlib庫中的人臉檢測(cè)與關(guān)鍵點(diǎn)定位。進(jìn)行關(guān)鍵點(diǎn)定位之前要先進(jìn)行人臉定位，這里也是用dlib包進(jìn)行檢測(cè)，在使用關(guān)鍵點(diǎn)檢測(cè)器對(duì)檢測(cè)到的人臉進(jìn)行關(guān)鍵點(diǎn)檢測(cè)。

detector = dlib.get_frontal_face_detector() #人臉檢測(cè)

predictor=dlib.shape_predictor('shape_predictor_68_face_landmarks.dat') #關(guān)鍵點(diǎn)檢測(cè)

6、分別提取兩個(gè)眼睛區(qū)域

(lStart,lEnd)= FACIAL_LANDMARKS_68_IDXS["left_eye"]

(rStart,rEnd)=FACIAL_LANDMARKS_68_IDXS["right_eye"]

8、讀取視頻

vs = CV2.VideoCapture(0)

9、對(duì)每一幀圖片進(jìn)行操作，實(shí)現(xiàn)功能

· 讀取一幀圖片并做預(yù)處理操作；

· 檢測(cè)人臉；

· 獲取人臉上的關(guān)鍵點(diǎn)坐標(biāo)；

· 繪制眼睛區(qū)域；

· 計(jì)算左右兩眼的EAR值，取平均值得到總的EAR值；

· 檢查EAR值是否滿足閾值，如果滿足，眨眼次數(shù)加一；

· 將總的眨眼次數(shù)寫在視頻中。

# 遍歷每一幀

while True:

# 預(yù)處理

frame = vs.read()[1]

if frame is None:

break

#按比例縮放圖像尺寸，這個(gè)步驟對(duì)檢測(cè)效果有影響，越大越慢。

(h, w) = frame.shape[:2]

width=1200

r = width / float(w)

dim = (width, int(h * r))

frame=CV2.resize(frame,dim,interpolation=CV2.INTER_AREA)

gray = CV2.cvtColor(frame, CV2.COLOR_BGR2GRAY)

# 檢測(cè)人臉 返回的檢測(cè)到的人臉位置

rects = detector(gray, 0)

# 接著我們遍歷每一個(gè)檢測(cè)到的人臉 ，分別對(duì)每一張臉做關(guān)鍵點(diǎn)檢測(cè)，ears值計(jì)算。

for rect in rects:

# 獲取坐標(biāo)

shape = predictor(gray, rect)

shape = shape_to_np(shape)

# 分別計(jì)算ear值

leftEye = shape[lStart:lEnd]

rightEye = shape[rStart:rEnd]

leftEAR = eye_aspect_ratio(leftEye)

rightEAR = eye_aspect_ratio(rightEye)

# 算一個(gè)平均的

ear = (leftEAR + rightEAR) / 2.0

# 繪制眼睛區(qū)域

leftEyeHull = CV2.convexHull(leftEye)

rightEyeHull = CV2.convexHull(rightEye)

CV2.drawContours(frame, [leftEyeHull], -1, (0, 255, 0), 1)

CV2.drawContours(frame, [rightEyeHull], -1, (0, 255, 0), 1)

# 檢查是否滿足閾值

if ear < EYE_AR_THRESH:

COUNTER += 1

else:

# 如果連續(xù)幾幀都是閉眼的，總數(shù)算一次

if COUNTER >= EYE_AR_CONSEC_FRAMES:

TOTAL += 1

# 重置

COUNTER = 0

# 顯示 把眨眼的次數(shù)顯示在屏幕上

CV2.putText(frame,"Blinks: {}".format(TOTAL), (10, 30),

CV2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)

CV2.putText(frame,"EAR:{:.2f}".format(ear),(300,30),CV2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)

#展示圖像

CV2.imshow("Frame", frame)

key = CV2.waitKey(10) & 0xFF

if key == 27:

break

vs.release()

CV2.destroyAllWindows()