Opencv 直方图与模板匹配

7.1 直方图

opencv中直方图是用来分析图像的像素分布情况 的工具，帮助了解图像的亮度或颜色分布。

用于计算图像数组的直方图：

cv2.calcHist(images, channels, mask, histSize, ranges)

• images：原图像格式为unit8或float32，传入时应用中括号例如[img]

• channels：如果传入的图像是灰度图则传入值为[0]，如果传入的是彩色图像传入的参数可以是[0]、[1]、[2]，分别对应BGR。

• mask：掩膜图像，用来统计图像中某一区域的直方图，如果想统计整张图像就是None

• histSize：BIN的数目，即直方图中有多少个 bin 来表示整个灰度级或颜色值的范围。

• ranges：像素值范围常为[0，256]

• 返回值：返回一个直方图数组，该数组的每一行对应一个通道的直方图，每个通道的直方图是一个一维数组，表示该通道中每个可能值的像素计数。

import cv2 
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline 

def cv_show(img,name):
    cv2.imshow(name,img)
    cv2.waitKey()
    cv2.destroyAllWindows()

img = cv2.imread('cat.jpg', 0)	# 0表示灰度图
cv_show(img, 'img')

hist = cv2.calcHist([img], [0], None, [256], [0, 256])
print(hist.shape)	# (256, 1)

# .ravel() 方法用于将多维数组降维到一维数组。
plt.hist(img.ravel(), 256)
plt.show()

img = cv2.imread('cat.jpg')
color = ('b', 'g', 'r')
for i,col in enumerate(color):
    histr = cv2.calcHist([img], [i], None, [256], [0, 256])
    plt.plot(histr, color = col)
    plt.xlim([0, 256])

7.2 mask操作

# 创建mask
mask = np.zeros(img.shape[:2], np.unit8)
mask[100: 300, 100: 400] = 255
cv_show(mask, 'mask')

masked_img = cv2.bitwise_and(img, mask = mask)	# 与操作
cv_show(masked_img, 'masked_img')

hist_full = cv2.calcHist([img], [0], None, [256], [0, 256])
hist_mask = cv2.calcHist([img], [0], mask, [256], [0, 256])

plt.subplot(221), plt.imshow(img, 'gray')
plt.subplot(222), plt.imshow(mask, 'gray')
plt.subplot(223), plt.imshow(mask_img, 'gray')
plt.subplot(224), plt.plot(hist_full), plt.plot(hist.mask)
plt.xlim([0, 256])
plt.show()

7.3 直方图均衡化

直方图均衡化通过改变图像的灰度级分布，使图像亮度分布更均匀，阴影区域变得更亮，高光区域变得更暗，达到增强图像整体视觉效果的目的。

步骤：

• 计算累积分布函数（CDF）：对于图像的每个灰度级，计算其累积分布函数，即灰度级以下像素点的比例。
• 转换灰度级：根据累积分布函数，将原始图像的每个像素点映射到新的灰度级，这个新的灰度级分布更加均衡。

img = cv2.imread('clahe.jpg', 0)
plt.hist(img.ravel(), 256)
plt.show()

# 均衡化
equ = cv2.equalizeHist(img)
plt.hist(equ.ravel(), 256)
plt.show()

res = np.hstack((img, equ))
cv_show(res, 'res')

由上图可以看出由于直方图均衡化是对整个图像进行处理，反而导致有时候某些细节丢失(上图的人像)，因此我们可以采取自适应直方图均衡化。

7.4 自适应直方图均衡化

自适应直方图均衡化就是对图像的局部区域进行处理，更适合于改进图像的局部对比度以及获得更多的图像细节，保留更多细节信息。

clahe = cv2.createCLAHE(clipLimit = 2.0, tileGridSize = (8, 8))

res_clahe = clahe.apply(img)
res = np.hstack((img, equ, res_clahe))
cv_show(res, 'res')

可以看出自适应操作后比之前的细节处理要好的多。

7.5 傅里叶变换

想象一下，我们每天的生活可以看作是由不同活动组成的复杂序列，比如工作、吃饭、休息、娱乐等…。如果我们想要更好理解我们如何分配时间，或者想要优化日常安排，需要一种方法来分析和组织这些活动。

傅里叶变换在这里的作用就像是创建一张详细的时程表，帮助我们将一天的所有活动分解成一系列更简单的组成部分，比如每个小时、每项任务或每个活动类型。这样就可以看到哪些活动最频繁，哪些活动占用了最多的时间，以及如何分布在一天中的。

傅里叶变换的基本原理

任何周期性的波形都可以表示为若干正弦波和余弦波的总和。这些正弦波和余弦波的频率、振幅和相位可以唯一确定原始波形。

滤波

高通滤波器：只保留高频，会使得图像细节增强。

高频：变化剧烈的灰度分量，例如边界。

低通滤波器：只保留低频，会使得图像模糊

低频：变化缓慢的灰度分量，例如一片大海。

• opencv中主要是cv2.dft()和cv2.idft()，输入图像需要先转换成np.float32格式
• 得到的结果中频率为0的部分会在左上角，通常要转换到中心位置，可以通过shift变换来实现
• cv2.dft()返回的结果是双通道的（实部，虚部），通常还需要转换成图像格式才能展示（0，255）

对图像进行傅里叶变换后，再进行逆傅里叶变换，就是主要为了实现频率域的图像处理。

import cv2
import numpy as np
import matplotlib.pyplot as plt

# 读取图像并转换为灰度图
img = cv2.imread('lena.jpg', cv2.IMREAD_GRAYSCALE)

# 进行离散傅里叶变换
dft = cv2.dft(np.float32(img), flags=cv2.DFT_COMPLEX_OUTPUT)

# 将结果移动到中心
dft_shifted = np.fft.fftshift(dft)

# 计算幅度谱
magnitude_spectrum = 20 * np.log(cv2.magnitude(dft[:,:,0], dft_shifted[:,:,1]))

# 显示幅度谱
plt.imshow(magnitude_spectrum, cmap='gray')
plt.title('Magnitude Spectrum')
plt.show()

低频分量主要位于图像中心，高频分量主要位于两侧

下面实现对图像进行傅里叶变换，应用一个简单的低通滤波器，然后进行逆傅里叶变换以恢复图像

import numpy as np
import cv2
from matplotlib import pyplot as plt

# 读取图像并转换为灰度图
img = cv2.imread('lena.jpg', 0)

# 将图像转换为浮点数类型，以满足傅里叶变换的要求
img_float32 = np.float32(img)

# 对图像进行离散傅里叶变换，得到复数输出
dft = cv2.dft(img_float32, flags=cv2.DFT_COMPLEX_OUTPUT)

# 将DFT的结果移动到中心，以便于观察和处理
dft_shift = np.fft.fftshift(dft)

# 获取图像的行数和列数
rows, cols = img.shape

# 计算图像中心的位置
crow, ccol = int(rows/2), int(cols/2)

# 创建一个低通滤波器掩模，中心区域为1（通过），其他区域为0（阻挡）
mask = np.zeros((rows, cols, 2), np.uint8)
mask[crow-30:crow+30, ccol-30:ccol+30] = 1

# 应用低通滤波器
fshift = dft_shift * mask

# 将结果移回原始位置，以便于进行逆傅里叶变换
f_ishift = np.fft.ifftshift(fshift)

# 进行逆离散傅里叶变换
img_back = cv2.idft(f_ishift)

# 计算逆傅里叶变换结果的幅度
img_back = cv2.magnitude(img_back[:,:,0], img_back[:,:,1])

# 使用matplotlib显示原始图像和处理后的图像
plt.subplot(121), plt.imshow(img, cmap='gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(122), plt.imshow(img_back, cmap='gray')
plt.title('Processed Image'), plt.xticks([]), plt.yticks([])
plt.show()

下面应用高通滤波器

import numpy as np
import cv2
from matplotlib import pyplot as plt

# 读取图像并转换为灰度图
img = cv2.imread('lena.jpg', 0)

# 将图像转换为浮点数类型，以满足傅里叶变换的要求
img_float32 = np.float32(img)

# 对图像进行离散傅里叶变换，得到复数输出
dft = cv2.dft(img_float32, flags=cv2.DFT_COMPLEX_OUTPUT)

# 将DFT的结果移动到中心，以便于观察和处理
dft_shift = np.fft.fftshift(dft)

# 获取图像的行数和列数
rows, cols = img.shape

# 计算图像中心的位置
crow, ccol = int(rows/2), int(cols/2)

# 创建一个高通滤波器掩模，边缘区域为1（通过），中心区域为0（阻挡）
mask = np.ones((rows, cols, 2), np.uint8)
mask[crow-30:crow+30, ccol-30:ccol+30] = 0

# 应用高通滤波器
fshift = dft_shift * mask

# 将结果移回原始位置，以便于进行逆傅里叶变换
f_ishift = np.fft.ifftshift(fshift)

# 进行逆离散傅里叶变换
img_back = cv2.idft(f_ishift)

# 计算逆傅里叶变换结果的幅度
img_back = cv2.magnitude(img_back[:,:,0], img_back[:,:,1])

# 使用matplotlib显示原始图像和处理后的图像
plt.subplot(121), plt.imshow(img, cmap='gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(122), plt.imshow(img_back, cmap='gray')
plt.title('Processed Image'), plt.xticks([]), plt.yticks([])
plt.show()