【python】OpenCV—Tracking（10.1）

学习来自《Learning OpenCV 3 Computer Vision with Python》Second Edition by Joe Minichino and Joseph Howse

检测移动的目标

目标跟踪：基本的运动检测

一种最直观的方法就是计算帧之间的差异，或者考虑背景帧与其他帧之间的差异

import cv2
import numpy as np

es = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (9, 4))  # 我跑的时候用的 (9,9) 圆
background = None
index = 0

cap = cv2.VideoCapture("2.mkv")

if cap.isOpened():
    success = True
else:
    success = False
    print("fail to open")

while(success):
    success, frame = cap.read()
    index += 1
    h, w, c = frame.shape
    
	# 第一帧作为背景
    if background is None:
        background = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) 
        background = cv2.GaussianBlur(background, (21, 21), 0)
        continue
        
    # 对噪声进行平滑是为了避免在运动和跟踪时将其检测出来
    gray_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    gray_frame = cv2.GaussianBlur(gray_frame, (21, 21), 0)

    diff = cv2.absdiff(background, gray_frame)
    diff = cv2.threshold(diff, 127, 255, cv2.THRESH_BINARY)[1]  # 大于 127 就置为 255
    # 腐蚀和膨胀也可以用作噪声滤波器
    diff = cv2.dilate(diff, es, iterations=2)

    # image, cnts, hierarchy = cv2.findContours(diff.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    cnts, hierarchy = cv2.findContours(diff.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    for c in cnts:
        if cv2.contourArea(c) < 0.25*h*0.25*w:
        # if cv2.contourArea(c) < 2500:
            continue
        (x, y, w, h) = cv2.boundingRect(c) # 计算矩形的边界框 
        cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 0, 255), 10)
    cv2.imshow("contours", frame)
    cv2.imshow("diff", diff)
    if cv2.waitKey(1000 // 12) & 0xff == ord("q"):
        break
cv2.destroyAllWindows()
cap.release()

先看下效果

原视频，720p

cv2.dilate(diff, es, iterations=2) 时 diff 的效果，也即高斯模糊后的当前帧和背景帧差的绝对值膨胀两次后的效果

过滤掉小于 2500 的轮廓时的效果，并以矩形框的形式可视化出来

看起来太敏感了，我们来个粗犷一些的

膨胀 30 次，cv2.dilate(diff, es, iterations=30) ，diff 的效果如下

过滤掉 if cv2.contourArea(c) < 0.25*h*0.25*w: 面积小于 6.25% 的移动区域，轮廓可视化成矩形框如下

还行

技术缺点

• 需要通过提前设置“默认”帧作为背景，在光照变化频繁时就显得不够灵活

涉及到的 opencv 库

cv2.GaussianBlur

高斯模糊

cv2.absdiff

计算两个数组之间或数组与标量之间每个元素的绝对差

cv2.threshold

二值化函数

cv2.dilate

形态学膨胀

cv2.getStructuringElement

得到一个结构元素（卷积核），主要用于后续的腐蚀、膨胀、开、闭等运算

• MORPH_RECT(函数返回矩形卷积核)
• MORPH_CROSS(函数返回十字形卷积核)
• MORPH_ELLIPSE(函数返回椭圆形卷积核)

anchor 表示描点的位置

cv2.findContours

找轮廓

mode：轮廓的模式。

• cv2.RETR_EXTERNAL 只检测外轮廓；
• cv2.RETR_LIST 检测的轮廓不建立等级关系；
• cv2.RETR_CCOMP 建立两个等级的轮廓，上一层为外边界，内层为内孔的边界。如果内孔内还有连通物体，则这个物体的边界也在顶层；
• cv2.RETR_TREE 建立一个等级树结构的轮廓。

method：轮廓的近似方法

• cv2.CHAIN_APPROX_NOME存储所有的轮廓点，相邻的两个点的像素位置差不超过1；
• cv2.CHAIN_APPROX_SIMPLE 压缩水平方向、垂直方向、对角线方向的元素，只保留该方向的终点坐标，例如一个矩形轮廓只需要4个点来保存轮廓信息；
• cv2.CHAIN_APPROX_TC89_L1，cv2.CV_CHAIN_APPROX_TC89_KCOS

contours：返回的轮廓

hierarchy：每条轮廓对应的属性

cv2.contourArea

轮廓面积

cv2.boundingRect

轮廓拟合函数