《OpenCV》——dlib（人脸应用实例）

dlib库

dlib库的基础用法介绍可以参考这篇文章：https://blog.csdn.net/lou0720/article/details/145968062?spm=1011.2415.3001.5331，故此这篇文章只介绍dlib的人脸应用实例。

dlib库——人脸应用实例——表情识别

代码：

import numpy as np
import cv2
import dlib
from sklearn.metrics.pairwise import euclidean_distances
from PIL import Image, ImageDraw, ImageFont

def cv2AddChineseText(img, text, position, textColor=(0, 255, 0), textSize=20):
    """ 向图片中添加中文 """
    # 判断输入的 img 是否为 OpenCV 格式的图片（即 numpy.ndarray 类型）
    if isinstance(img, np.ndarray):
        # 如果是 OpenCV 格式，将其从 BGR 颜色空间转换为 RGB 颜色空间，
        # 因为 PIL 库使用 RGB 颜色空间，而 OpenCV 使用 BGR 颜色空间
        img = Image.fromarray(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))

    # 在 img 图片上创建一个绘图对象，用于后续绘制文本
    draw = ImageDraw.Draw(img)

    # 定义字体的格式，使用 "simsun.ttc" 字体文件，指定字体大小为 textSize，
    # 并设置编码为 UTF - 8 以支持中文显示
    fontStyle = ImageFont.truetype("simsun.ttc", textSize, encoding="utf-8")

    # 在指定的 position 位置，使用指定的 textColor 颜色和 fontStyle 字体绘制文本
    draw.text(position, text, textColor, font=fontStyle)

    # 将绘制好文本的 PIL 图片转换回 numpy.ndarray 类型，并将颜色空间从 RGB 转换回 BGR，
    # 以符合 OpenCV 的要求
    return cv2.cvtColor(np.asarray(img), cv2.COLOR_RGB2BGR)

def MAR(shape):
    """
    计算嘴巴纵横比（Mouth Aspect Ratio）
    :param shape: 68 个人脸特征点的坐标数组
    :return: 嘴巴纵横比
    """
    # 计算嘴巴上下部分特定点之间的欧氏距离
    A = euclidean_distances(shape[50].reshape(1, 2), shape[58].reshape(1, 2))
    B = euclidean_distances(shape[51].reshape(1, 2), shape[57].reshape(1, 2))
    C = euclidean_distances(shape[52].reshape(1, 2), shape[56].reshape(1, 2))
    # 计算嘴巴左右两侧特定点之间的欧氏距离
    D = euclidean_distances(shape[48].reshape(1, 2), shape[54].reshape(1, 2))
    # 计算嘴巴纵横比，即上下部分平均距离与左右距离的比值
    return ((A + B + C) / 3) / D

def MJR(shape):
    """
    计算嘴巴与下巴宽度比（Mouth to Jaw Ratio）
    :param shape: 68 个人脸特征点的坐标数组
    :return: 嘴巴与下巴宽度比
    """
    # 计算嘴巴左右两侧特定点之间的欧氏距离
    M = euclidean_distances(shape[48].reshape(1, 2), shape[54].reshape(1, 2))
    # 计算下巴左右两侧特定点之间的欧氏距离
    J = euclidean_distances(shape[3].reshape(1, 2), shape[13].reshape(1, 2))
    # 计算嘴巴与下巴宽度比
    return M / J

def MBR(shape):
    """
    计算眉毛间距比（Mouth to Brow Ratio）
    :param shape: 68 个人脸特征点的坐标数组
    :return: 眉毛间距比
    """
    # 计算左右眉毛内侧特定点之间的欧氏距离
    F = euclidean_distances(shape[21].reshape(1, 2), shape[22].reshape(1, 2))
    # 计算左右眉毛外侧特定点之间的欧氏距离
    I = euclidean_distances(shape[17].reshape(1, 2), shape[26].reshape(1, 2))
    # 计算眉毛间距比
    return F / I

# 打开默认摄像头，用于实时视频捕获
cap = cv2.VideoCapture(0)
# 加载预训练的 68 点人脸特征预测模型
predictor = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')
# 创建人脸检测器对象
detector = dlib.get_frontal_face_detector()

while True:
    # 从摄像头读取一帧视频
    ret, frame = cap.read()
    # 水平翻转视频帧，使画面看起来更自然
    frame = cv2.flip(frame, 1)
    # 如果读取失败，跳出循环
    if ret is None:
        break
    # 检测视频帧中的人脸
    faces = detector(frame, 0)
    for face in faces:
        # 预测人脸的 68 个特征点
        shape = predictor(frame, face)
        # 将特征点转换为 numpy 数组
        shape = np.array([[p.x, p.y] for p in shape.parts()])
        # 计算嘴巴纵横比
        mar = MAR(shape)
        # 计算嘴巴与下巴宽度比
        mjr = MJR(shape)
        # 计算眉毛间距比
        mbr = MBR(shape)
        # 初始化表情结果为正常
        result = '正常'
        # 打印各个比值
        print("mar", mar, '\tmjr', mjr, 'mbr', mbr)
        # 根据比值判断表情
        if mar > 0.5:
            result = "大笑"
        elif mjr > 0.45:
            result = '微笑'
        elif mbr < 0.15:
            result = '生气'
        # 计算嘴巴轮廓的凸包
        mouthHull = cv2.convexHull(shape[48:61])
        # 在视频帧上添加中文表情结果
        frame = cv2AddChineseText(frame, result, mouthHull[0, 0])
        # 在视频帧上绘制嘴巴轮廓
        cv2.drawContours(frame, [mouthHull], -1, (0, 255, 0), 1)
    # 显示处理后的视频帧
    cv2.imshow('img', frame)
    # 等待用户按键，等待时间为 1 毫秒
    key = cv2.waitKey(1)
    # 如果用户按下 ESC 键（ASCII 码为 27），跳出循环
    if key == 27:
        break
# 释放摄像头资源
cap.release()
# 关闭所有 OpenCV 窗口
cv2.destroyAllWindows()

dlib库——人脸应用实例——疲劳检测

当闭眼时间长时，发出危险警告。

代码：

import numpy as np
import cv2
import dlib
from sklearn.metrics.pairwise import euclidean_distances
from PIL import Image, ImageDraw, ImageFont

def cv2AddChineseText(img, text, position, textColor=(0, 255, 0), textSize=20):
    """ 向图片中添加中文 """
    # 判断输入的 img 是否为 OpenCV 格式的图片（即 numpy.ndarray 类型）
    if isinstance(img, np.ndarray):
        # 如果是 OpenCV 格式，将其从 BGR 颜色空间转换为 RGB 颜色空间，
        # 因为 PIL 库使用 RGB 颜色空间，而 OpenCV 使用 BGR 颜色空间
        img = Image.fromarray(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))

    # 在 img 图片上创建一个绘图对象，用于后续绘制文本
    draw = ImageDraw.Draw(img)

    # 定义字体的格式，使用 "simsun.ttc" 字体文件，指定字体大小为 textSize，
    # 并设置编码为 UTF - 8 以支持中文显示
    fontStyle = ImageFont.truetype("simsun.ttc", textSize, encoding="utf-8")

    # 在指定的 position 位置，使用指定的 textColor 颜色和 fontStyle 字体绘制文本
    draw.text(position, text, textColor, font=fontStyle)

    # 将绘制好文本的 PIL 图片转换回 numpy.ndarray 类型，并将颜色空间从 RGB 转换回 BGR，
    # 以符合 OpenCV 的要求
    return cv2.cvtColor(np.asarray(img), cv2.COLOR_RGB2BGR)

def eye_aspect_ratio(eye):
    """
    计算眼睛的纵横比（Eye Aspect Ratio，EAR）
    :param eye: 眼睛的特征点坐标数组
    :return: 眼睛的纵横比
    """
    # 计算眼睛垂直方向上的距离
    A = euclidean_distances(eye[1].reshape(1, 2), eye[5].reshape(1, 2))
    B = euclidean_distances(eye[2].reshape(1, 2), eye[4].reshape(1, 2))
    # 计算眼睛水平方向上的距离
    C = euclidean_distances(eye[0].reshape(1, 2), eye[3].reshape(1, 2))
    # 计算眼睛纵横比，即垂直方向平均距离与水平距离的比值
    ear = ((A + B) / 2) / C
    return ear

def drawEye(eye):
    """
    在图像上绘制眼睛的轮廓
    :param eye: 眼睛的特征点坐标数组
    """
    # 计算眼睛特征点的凸包
    eyeHull = cv2.convexHull(eye)
    # 在图像 frame 上绘制眼睛的轮廓
    cv2.drawContours(frame, [eyeHull], -1, (0, 255, 0), 1)

# 初始化计数器，用于记录眼睛闭合的帧数
COUNTER = 0
# 创建人脸检测器对象，用于检测图像中的人脸
detector = dlib.get_frontal_face_detector()
# 打开默认摄像头，用于实时视频捕获
cap = cv2.VideoCapture(0)
# 加载预训练的 68 点人脸特征预测模型
predictor = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')

while True:
    # 从摄像头读取一帧视频
    ret, frame = cap.read()
    # 水平翻转视频帧，使画面看起来更自然
    frame = cv2.flip(frame, 1)
    # 如果读取失败，跳出循环
    if ret is None:
        break
    # 检测视频帧中的人脸
    faces = detector(frame, 0)
    for face in faces:
        # 预测人脸的 68 个特征点
        shape = predictor(frame, face)
        # 将特征点转换为 numpy 数组
        shape = np.array([[p.x, p.y] for p in shape.parts()])
        # 提取右眼的特征点
        rightEye = shape[36:42]
        # 提取左眼的特征点
        leftEye = shape[42:48]
        # 计算右眼的纵横比
        rightEAR = eye_aspect_ratio(rightEye)
        # 计算左眼的纵横比
        leftEAR = eye_aspect_ratio(leftEye)
        # 计算左右眼纵横比的平均值
        ear = (leftEAR + rightEAR) / 2

        # 如果眼睛纵横比小于 0.3，认为眼睛处于闭合状态
        if ear < 0.3:
            # 闭合帧数计数器加 1
            COUNTER += 1
            # 如果闭合帧数超过 50 帧，认为可能存在危险情况
            if COUNTER >= 50:
                # 在视频帧上添加中文提示信息
                frame = cv2AddChineseText(frame, "！！！危险！！！", (250, 250))
        else:
            # 如果眼睛处于睁开状态，将闭合帧数计数器重置为 0
            COUNTER = 0

        # 绘制左眼的轮廓
        drawEye(leftEye)
        # 绘制右眼的轮廓
        drawEye(rightEye)

        # 格式化眼睛纵横比信息，保留两位小数
        info = "EAR:{:.2f}".format(ear[0][0])
        # 在视频帧上添加眼睛纵横比信息
        frame = cv2AddChineseText(frame, info, (0, 30))

    # 显示处理后的视频帧
    cv2.imshow('Frame', frame)
    # 等待用户按键，等待时间为 1 毫秒
    key = cv2.waitKey(1)
    # 如果用户按下 ESC 键（ASCII 码为 27），跳出循环
    if key == 27:
        break

# 释放摄像头资源
cap.release()
# 关闭所有 OpenCV 窗口
cv2.destroyAllWindows()