图像处理算法识别手势

目录

1 实验目的

2 项目介绍

3 项目思路

3.1 图像处理模块

3.2 GUI模块

4 源代码

5 运行结果图

6 调试日志

7 项目优化

1 实验目的

使用OpenCV库来获取摄像头的视频流，并通过手势分析来快速准确地检测出1至5的手势。该程序通过采集视频帧并对其进行处理来分析手势。它使用图像处理算法来提取手势的形状，并根据手部的位置和轮廓来确定手势是哪个数字。运行程序后，摄像头将启动，并在摄像头下方的区域显示视频流。将手放在这个区域中，并展示你想识别的数字。程序会在摄像头捕捉到手势后立即返回相应的数字。虽然这种方法没有使用机器学习技术，但同样可以识别手势，并且运算速度较快，适合在一些低配置的设备上进行使用。

2 项目介绍

本项目目前使用到和未来可能使用的第三方库或者模块有：

表1 此项目所涉及的第三方库或模块

表2 项目使用的主要方法

3 项目思路

这段代码实现了一个基于 OpenCV 和 Tkinter 的手势识别程序。程序以摄像头获取的图像为输入，使用计算机视觉的技术，对手部图像进行分割，并利用图像处理技术检测手指的数量，从而实现对手势的识别。

程序的主要流程如下：

1.创建一个桌面应用程序，包括一个基于 Tkinter 的 GUI 界面。

图3-1 GUI界面                                        图3-2获取摄像头图像

2.连接摄像头并实时获取摄像头的图像。

3 对图像进行预处理，包括灰度转换、高斯模糊、背景校准等步骤。

4.对手部图像进行分割，提取出手的区域。

5.计算手部图像中手指的数量，从而实现对手势的识别。

6.将识别结果显示在 GUI 界面中，并提供一个按钮，用于用户启动手势识别的主函数。

该程序主要分为两个功能模块：图像处理模块和GUI模块。

3.1 图像处理模块

该模块涉及 OpenCV 库的使用，主要任务是对摄像头获取到的图像进行预处理，提取手势部分图像，并计算手势数量，实现对手势的识别。具体步骤如下：

（1）连接摄像头并实时获取摄像头的图像，并进行水平翻转处理；

（2）选择感兴趣区域(ROI)，即手的部分图像；

（3）将感兴趣区域转换为灰度图，并进行高斯模糊处理，以平滑化图像；

（4）在前60帧图像中进行背景校准，建立背景模型；

（5）对手部图像进行分割，提取出手的区域；

（6）计算手部图像中手指的数量，从而实现对手势的识别。

3.2 GUI模块

该模块涉及 Tkinter 库的使用，主要任务是在 GUI 界面中显示程序的输出结果，并提供一个按钮，用于启动手势识别的主函数。具体步骤如下：

（1）创建基于 Tkinter 的 GUI 界面，并提供一个文本部件，用于在 GUI 界面中显示程序的输出结果；

（2）将 print 函数的输出重定向到 write_to_text_widget 函数，以便将程序的输出结果添加到文本部件中进行显示；

（3）创建一个按钮，用于用户启动手势识别的主函数；

（4）进入消息循环，以等待用户与 GUI 界面进行交互。

4 源代码

import cv2
import numpy as np
from sklearn.metrics import pairwise
import tkinter as tk
from tkinter import filedialog
from PIL import Image, ImageTk
import sys

# 全局变量
background = None
accumulated_weight = 0.5
roi_top = 20
roi_bottom = 300
roi_right = 300
roi_left = 600

# 创建主窗口
root = tk.Tk()
root.geometry('400x400')
root.title("Output Results")


# 创建滚动条框架
# scroll_frame = tk.Frame(root)
# scroll_frame.pack(fill=tk.BOTH, expand=tk.YES)

# 创建滚动条
# scrollbar = tk.Scrollbar(scroll_frame)
# scrollbar.pack(side=tk.RIGHT, fill=tk.Y)

# 创建画布
# canvas = tk.Canvas(scroll_frame, yscrollcommand=scrollbar.set)
# canvas.pack(fill=tk.BOTH, expand=tk.YES)

# 选择图片文件
def select_image():
    filename = filedialog.askopenfilename(initialdir='/', title='Select Image',
                                          filetypes=(('JPEG files', '*.jpg'), ('PNG files', '*.png')))
    load_image(filename)


# 加载和显示图片
def load_image(filename):
    # 在 Canvas 中绘制图片
    image = Image.open(filename)
    # 缩放图片大小以适应 Canvas
    while image.width > canvas.winfo_width() or image.height > canvas.winfo_height():
        image = image.resize((int(image.width * 0.9), int(image.height * 0.9)))
    photo = ImageTk.PhotoImage(image)
    canvas.create_image(0, 0, image=photo, anchor=tk.NW)
    canvas.image = photo


# 初始化函数
def calc_accum_avg(frame, accumulated_weight):
    global background

    if background is None:
        background = frame.copy().astype("float")
        return None

    cv2.accumulateWeighted(frame, background, accumulated_weight)


# 获取ROI区域
def segment(frame, threshold_min=25):
    global background

    diff = cv2.absdiff(background.astype('uint8'), frame)

    ret, thresholded = cv2.threshold(diff, threshold_min, 255, cv2.THRESH_BINARY)

    contours, hierarchy = cv2.findContours(thresholded.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

    if len(contours) == 0:
        return None
    else:
        # 获得最大的轮廓区域
        hand_segment_max_cont = max(contours, key=cv2.contourArea)

        return (thresholded, hand_segment_max_cont)


# 手指数计算函数
def count_fingers(thresholded, hand_segment):
    conv_hull = cv2.convexHull(hand_segment)

    top = tuple(conv_hull[conv_hull[:, :, 1].argmin()][0])
    bottom = tuple(conv_hull[conv_hull[:, :, 1].argmax()][0])
    left = tuple(conv_hull[conv_hull[:, :, 0].argmin()][0])
    right = tuple(conv_hull[conv_hull[:, :, 0].argmax()][0])

    cX = (left[0] + right[0]) // 2
    cY = (top[1] + bottom[1]) // 2

    distance = pairwise.euclidean_distances([(cX, cY)], Y=[left, right, top, bottom])[0]
    max_distance = distance.max()
    radius = int(0.9 * max_distance)
    circumference = (2 * np.pi * radius)
    circular_roi = np.zeros(thresholded.shape[:2], dtype="uint8")
    cv2.circle(circular_roi, (cX, cY), radius, 255, 10)
    circular_roi = cv2.bitwise_and(thresholded, thresholded, mask=circular_roi)
    contours, hierarchy = cv2.findContours(circular_roi.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)
    count = 0

    for cnt in contours:
        (x, y, w, h) = cv2.boundingRect(cnt)
        out_of_wrist = (cY + (cY * 0.25)) > (y + h)
        limit_points = ((circumference * 0.25) > cnt.shape[0])
        if out_of_wrist and limit_points:
            count += 1

    return count


# 识别手势主函数
def identify_gesture():
    global accumulated_weight
    camera = cv2.VideoCapture(0)  # 摄像头

    num_frames = 0
    calibrated = False

    while True:
        (grabbed, frame) = camera.read()
        frame = cv2.flip(frame, 5)

        roi = frame[roi_top:roi_bottom, roi_right:roi_left]

        gray_frame = cv2.cvtColor(roi, cv2.COLOR_BGR2GRAY)
        gray_frame = cv2.GaussianBlur(gray_frame, (7, 7), 0)

        if num_frames < 60:
            calc_accum_avg(gray_frame, accumulated_weight)
            if num_frames < 59:
                cv2.putText(frame, "CALIBRATING...", (100, 100), cv2.FONT_HERSHEY_TRIPLEX, 1, (0, 0, 255), 2)
        else:
            hand = segment(gray_frame)

            if hand is not None:
                (thresholded, hand_segment) = hand

                cv2.drawContours(frame, [hand_segment + (roi_right, roi_top)], -1, (255, 0, 0), 1)

                fingers = count_fingers(thresholded, hand_segment)

                if fingers == 1:
                    cv2.putText(frame, "Gesture: ONE", (70, 375), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)
                    print("Gesture: ONE")
                elif fingers == 2:
                    cv2.putText(frame, "Gesture: TWO", (70, 375), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)
                    print("Gesture: TWO")
                elif fingers == 3:
                    cv2.putText(frame, "Gesture: THREE", (70, 375), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)
                    print("Gesture: THREE")
                elif fingers == 4:
                    cv2.putText(frame, "Gesture: FOUR", (70, 375), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)
                    print("Gesture: FOUR")
                elif fingers == 5:
                    cv2.putText(frame, "Gesture: FIVE", (70, 375), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)
                    print("Gesture: FIVE")
                elif fingers == 6:
                    cv2.putText(frame, "Gesture: SIX", (70, 375), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)
                    print("Gesture: SIX")
                elif fingers == 7:
                    cv2.putText(frame, "Gesture: SEVEN", (70, 375), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)
                    print("Gesture: SEVEN")
                elif fingers == 8:
                    cv2.putText(frame, "Gesture: EIGHT", (70, 375), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)
                    print("Gesture: EIGHT")
                elif fingers == 9:
                    cv2.putText(frame, "Gesture: NINE", (70, 375), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)
                    print("Gesture: NINE")
                else:
                    cv2.putText(frame, "Gesture: NONE", (70, 375), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)
            else:
                cv2.putText(frame, "No hand detected", (200, 200), cv2.FONT_HERSHEY_TRIPLEX, 1, (0, 0, 255), 2)

        # 显示帧
        cv2.imshow("Hand Gestures", frame)
        keypress = cv2.waitKey(1) & 0xFF

        # 按 'q' 退出循环
        if keypress == ord("q"):
            break

        num_frames += 1
    # 关闭窗口
    cv2.destroyAllWindows()
    # 释放摄像头资源
    camera.release()


# 向gui界面中写入内容
def write_to_text_widget(s):
    # 在文本区域中添加内容
    output_text.insert(tk.END, s)


output_text = tk.Text(root)
output_text.pack()

# 重定向标准输出到 write_to_text_widget 函数
sys.stdout.write = write_to_text_widget

# 创建按钮
button = tk.Button(text='开始识别', command=identify_gesture)  # 与图片的识别相关联
button.pack(side=tk.TOP)

# 进入消息循环
root.mainloop()

5 运行结果图

（由于需要人脸出境，具体截图我就不放了，大家可以自己试一下）

图5-1 运行结果为“1”

图5-2 运行结果为“2”

图5-3 运行结果为“3”

图5-4 运行结果为“4”

图5-5 运行结果为“5”

图5-6 每一帧检测结果

6 调试日志

1.在最开始No module named 'cv2'，修改方法：pip install opencv-python。

2.在刚确定选题的时候，想借助网上的学习模型，也找到了一个很合适的学习模型，但是是外网的。首先，到Kaggle网站上注册一个账https://www.kaggle.com/登录后，搜索“American Sign Language”或“ASL”，可以找到该数据集：https://www.kaggle.com/grassknoted/asl-alphabet。下一步就是下载，在这之前不需要登陆，但下载必须要登录。要登录必须要先有账号，但是在注册账号的时候并不能正常的显示人机验证的验证码，报错如图显示，具体内容为“Captcha must be filled out.”意思就是验证码必须要填写，但是我看不到验证码。

图6-1 Kaggle网站注册界面（图上有隐私，暂不放了）

借助网络求助，给出的方法是可以借助浏览器插件显示验证码，安装了两个插件，因为两个名字虽然一样，但是来自于不同的发布者，并且其中一个已经不能用了。所以又下载了另外一个插件，开启后，依旧不显示相关的验证码，于是放弃了机器学习的这个方法。

图6-2 插件安装成功界面

3.摄像头关不上。在代码中运用了一个循环，while true，就是默认在所有的情况下都能执行，因为每一帧都需要展示在画面中，每一帧都需要，所以这个循环默认一直可以执行。当大部分代码都快写完的时候，运行时却发现关不上摄像头，尝试了很多办法，一直不能解决，当我以为我写的这些东西都不对的时候，我发现是因为循环的原因，需要加一个break条件语句，这样才可以直接关闭。我本想的是直接点击那个叉号，但是关不掉，关闭又能弹出来，想设置一条语句，能够解决这个问题，但是并不能很好的解决，会有问题在里面。所以，采用了键盘输入某个值的方法，其实是利用了Ascll码来确定输入的内容是不是和已经确定的字符ascll码相同。

4.module 'cv2' has no attribute 'waitkey'这个错误信息提示是cv2库中没有waitkey函数，其中的一个原因可能是waitkey() 函数名前拼写错误了，修正为waitKey()函数即可。尝试修改cv2.waitkey()为cv2.waitKey()，然后再运行代码。

5.图片太大了无法全部显示。在刚开始想利用学习模型开始写的时候，想的是先从图片开始，然后再加上视频模块进行识别，但是机器学习模型的学习数据没有下载下来，自己确定学习模型的话需要很长的周期。所以在最后的时候，选择创建一个画布，然后加上了canvas = tk.Canvas(scroll_frame, yscrollcommand= scrollbar.set)和 canvas.pack(fill=tk.BOTH, expand=tk.YES)代码，便能够正常显示。

图6-3 画布无法显示

图6-4 可以适应图片的GUI界面

6.gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)报错:从网上查找相关的内容，表示定位到转灰度时图片要为三通道，否则报错，在转灰度前，加上一部分代码将图转为三通道，但是由于版本的问题仍然报错，换了一个程序后便可以正常运行。

7.当我把输出结果放在gui界面上时，button按钮不见了。把输出结果的text关闭了，button能够显示出来，但是依旧在最下面，考虑是不是因为滚动条的原因，不是画布的原因,当我把滚动条关闭后，可以显示出来了。

图6-5 关闭画布后可以正常显示button

8.感觉不稳定，识别的有问题。后续需要对肤色、轮廓、凸包的确定和计算以及轮廓的逼近方法再进行新的尝试。

图6-6 控制台识别不准确

图6-7 错误识别结果为“4”（暂不放）

图6-8 错误识别结果为“1”

9.利用pyinstaller -F -w hand.py打包成为可执行程序时，也可以正常地执行，但打开后出现问题，从网络上查找相关地内容，表示将原有的文件删掉，再执行一遍这个代码，就可以了。但我删掉原来的.exe文件后，依旧报错。根据报错内容，可能是因为我的那部分将控制台上的输出内容放到gui界面中的问题，没有找到合适的替换方法。

图6-9 利用dos界面打包

图6-10 打包完成

图6-11 打包为可执行程序文件后打不开

尝试https://blog.csdn.net/lwww3333/article/details/119292678文章中的方法，首先是安装库pip install pipenv，如图所示。但是很多库怎样在虚拟环境中下载，以及下载会遇到很多很多我自己解决不了的问题，所以最终也没有打包成功。如果我将最后的那个将控制台的信息放到gui界面中，就能够正常打包了。

图6-12 使用dos安装pipenv界面

图6-13 使用dos建立虚拟背景

10.最开始是在jupyter notebook中写的代码，所以很多库都安装在了anaconda的目录下，所以后来将代码在pycharm中运行时显示没有那几个库，显示如图。解决方法有两个：第一个是将其他目录下的库复制到pycharm的目录下，即可使用。但我尝试了这个方法，并不能解决我的问题。第二种方法就是在pycharm中安装库，如图所示。这种方法可以保证能够库的引用和正常的使用。

图6-14 使用dos安装sckit-learn库出现问题

图6-15 使用pycharm安装库

11.在代码中尝试测试程序使其运行结果为“6-9”，但最终由于轮廓、光线以及背景的原因，并没有成功，所以并未测试成功。

图6-16 尝试手势6的测试

图6-17 尝试手势7的测试

图6-18 正常测试由于环境因素出现错误

12.在本次项目的实现过程中，还有很多认知以及代码上的错误，这些错误有些是因为粗心大意，有些是因为自己的认知不够，导致出现的一系列问题。但是由于这些问题比较普通，以后在项目的优化以及学习中都会着重注意这些问题，便不在此处赘述了。

7 项目优化

由运行结果以及多次实践可以看出来，程序对环境的要求较高。后期项目进行优化，需要从背景替换、肤色检测、创建机器学习模型、轮廓获取的优化等问题方面进行调整和改正，从而降低对环境的要求。以下为网络上已成熟的检测结果及相关图片：

图7-1 分割图及手势分割

图7-2 灰度图的提取

图7-3 图像色度的调整