opencv之形态学

1. 什么是形态学

在图像处理领域，形态学是一种基于形状的图像分析技术，用于提取和处理图像的形态特征。这包括膨胀、腐蚀、开运算、闭运算等操作，广泛应用于边缘检测、图像分割和噪声去除等方面。

形态学操作的核心概念是结构元（Structuring Element），这是一个定义形态学操作如何应用于图像的形状或模板。结构元可以是任意形状的，如方形、圆形、十字形等，应用于图像时，结构元素在图像上滑动，决定了哪些像素会被膨胀、腐蚀或其他形态学操作影响。

通过组合这些基本操作，可以实现复杂的图像处理任务，如物体边界提取、骨架化、形状分析等。形态学在许多图像处理应用中具有重要作用，尤其是在需要基于形状特征进行分析的场景中。

本文的内容主要来自《OpenCV轻松入门：面向Python》这本书，他讲的比较清晰。

2. 形态学操作

2.1 腐蚀

腐蚀是最基本的形态学操作之一，它能够将图像的边界点消除，使图像沿着边界向内收缩，也可以将小于指定结构体元素的部分去除。腐蚀用来“收缩”或者“细化”二值图像中的前景，借此实现去除噪声、元素分割等功能。例如，在图1中，左图是原始图像，右图是对其腐蚀的处理结果。

在腐蚀过程中，通常使用一个结构元来逐个像素地扫描要被腐蚀的图像，并根据结构元和被腐蚀图像的关系来确定腐蚀结果。

例如，在图2中，整幅图像的背景色是黑色的，前景对象是一个白色的圆形。图像左上角的深色小方块是遍历图像所使用的结构元。在腐蚀过程中，要将该结构元逐个像素地遍历整幅图像，并根据结构元与被腐蚀图像的关系，来确定腐蚀结果图像中对应结构元中心点位置的像素点的值。

需要注意的是，腐蚀操作等形态学操作是逐个像素地来决定值的，每次判定的点都是与结构元中心点所对应的点。

图3中的两幅图像表示结构元与前景色的两种不同关系。根据这两种不同的关系来决定，腐蚀结果图像中的结构元中心点所对应位置像素点的像素值。

● 如果结构元完全处于前景图像中（图3的左图），就将结构元中心点所对应的腐蚀结果图像中的像素点处理为前景色（白色，像素点的像素值为1）。

● 如果结构元未完全处于前景图像中（可能部分在，也可能完全不在，图3的右图），就将结构元中心点对应的腐蚀结果图像中的像素点处理为背景色（黑色，像素点的像素值为0）。

针对图3中的图像，腐蚀的结果就是前景色的白色圆直径变小。上述结构元也被称为核。

如果使用结构元kernel图(b)对图像img图(a)进行腐蚀，则可以得到腐蚀结果图像rst图(d)：

在OpenCV中，使用函数cv2.erode()实现腐蚀操作，其语法格式为：

式中：

dst = cv2.erode( src, kernel[, anchor[, iterations[, borderType[,borderValue]]]] )

● dst是腐蚀后所输出的目标图像，该图像和原始图像具有同样的类型和大小。

● src是需要进行腐蚀的原始图像，图像的通道数可以是任意的。但是要求图像的深度必须是CV_8U、CV_16U、CV_16S、CV_32F、CV_64F中的一种。

● kernel代表腐蚀操作时所采用的结构类型。它可以自定义生成，也可以通过函数cv2.getStructuringElement()生成。

● anchor代表element结构中锚点的位置。该值默认为(-1, -1)，在核的中心位置。

● iterations是腐蚀操作迭代的次数，该值默认为1，即只进行一次腐蚀操作。

● borderType代表边界样式，一般采用其默BORDER_CONSTANT。

● borderValue是边界值，一般采用默认值。在C++中提供了函数morphologyDefault BorderValue()来返回腐蚀和膨胀的“魔力（magic）”边界值，Python不支持该函数。

代码

import cv2
import numpy as np
img=np.zeros((5,5), np.uint8)
img[1:4,1:4]=1
kernel = np.ones((3,1), np.uint8)
erosion = cv2.erode(img, kernel)
print("img=\n", img)
print("kernel=\n", kernel)
print("erosion=\n", erosion)

import cv2
import numpy as np
o=cv2.imread("erode.bmp", cv2.IMREAD_UNCHANGED)
kernel = np.ones((5,5), np.uint8)
erosion = cv2.erode(o, kernel)
cv2.imshow("orriginal", o)
cv2.imshow("erosion", erosion)
cv2.waitKey()
cv2.destroyAllWindows()

2.2 膨胀

膨胀操作是形态学中另外一种基本的操作。膨胀操作和腐蚀操作的作用是相反的，膨胀操作能对图像的边界进行扩张。膨胀操作将与当前对象（前景）接触到的背景点合并到当前对象内，从而实现将图像的边界点向外扩张。如果图像内两个对象的距离较近，那么在膨胀的过程中，两个对象可能会连通在一起。膨胀操作对填补图像分割后图像内所存在的空白相当有帮助。二值图像的膨胀示例如图5所示。

同腐蚀过程一样，在膨胀过程中，也是使用一个结构元来逐个像素地扫描要被膨胀的图像，并根据结构元和待膨胀图像的关系来确定膨胀结果。例如，在图6中，整幅图像的背景色是黑色的，前景对象是一个白色的圆形。图像左上角的深色小块表示遍历图像所使用的结构元。

在膨胀过程中，要将该结构元逐个像素地遍历整幅图像，并根据结构元与待膨胀图像的关系，来确定膨胀结果图像中与结构元中心点对应位置像素点的值。

图7中的两幅图像代表结构元与前景色的两种不同关系。根据这两种不同关系来决定膨胀结果图像中，与结构元中心像素重合的点的像素值。

● 图( a )表示待膨胀的img。

● 图( b )是核kernel。

● 图( c )中的阴影部分是kernel在遍历img时，kernel中心像素点位于img[1,1]、img[3,3]时与前景色存在重合像素点的两种可能情况，实际上共有9个这样的与前景对象重合的可能位置。核kernel的中心分别位于img[1,1]、img[1,2]、img[1,3]、img[2,1]、img[2,2]、img[2,3]、img[3,1]、img[3,2]或img[3,3]时，核内像素点都存在与前景图像重合的像素点。

● 图( d )是膨胀结果图像rst。在kernel内，当任意一个像素点与前景对象重合时，其中心点所对应的膨胀结果图像内的像素点值的为1；当kernel与前景对象完全无重合时，其中心点对应的膨胀结果图像内像素点的值为0。

在OpenCV内，采用函数cv2.dilate()实现对图像的膨胀操作，该函数的语法结构为：

dst = cv2.dilate( src, kernel[, anchor[, iterations[, borderType[,borderValue]]]])

式中：

● dst代表膨胀后所输出的目标图像，该图像和原始图像具有同样的类型和大小。

● src代表需要进行膨胀操作的原始图像。图像的通道数可以是任意的，但是要求图像的深度必须是CV_8U、CV_16U、CV_16S、CV_32F、CV_64F中的一种。

● element代表膨胀操作所采用的结构类型。它可以自定义生成，也可以通过函数cv2.getStructuringElement()生成。

参数kernel、anchor、iterations、borderType、borderValue与函数cv2.erode()内相应参数的含义一致。

代码

import cv2
import numpy as np
img=np.zeros((5,5), np.uint8)
img[2:3,1:4]=1
kernel = np.ones((3,1), np.uint8)
dilation = cv2.dilate(img, kernel)
print("img=\n", img)
print("kernel=\n", kernel)
print("dilation\n", dilation)

2.3 通用形态学函数

腐蚀操作和膨胀操作是形态学运算的基础，将腐蚀和膨胀操作进行组合，就可以实现开运算、闭运算（关运算）、形态学梯度（Morphological Gradient）运算、礼帽运算（顶帽运算）、黑帽运算、击中击不中等多种不同形式的运算。

OpenCV提供了函数cv2.morphologyEx()来实现上述形态学运算，其语法结构如下：

dst = cv2.morphologyEx( src, op, kernel[, anchor[, iterations[, borderType[,borderValue]]]]] )

式中：

● dst代表经过形态学处理后所输出的目标图像，该图像和原始图像具有同样的类型和大小。

● src代表需要进行形态学操作的原始图像。图像的通道数可以是任意的，但是要求图像的深度必须是CV_8U、CV_16U、CV_16S、CV_32F、CV_64F中的一种。

● op代表操作类型，如图9所示。各种形态学运算的操作规则均是将腐蚀和膨胀操作进行组合而得到的。

● 参数kernel、anchor、iterations、borderType、borderValue与函数cv2.erode()内相应参数的含义一致。

2.4 开运算

开运算进行的操作是先将图像腐蚀，再对腐蚀的结果进行膨胀。开运算可以用于去噪、计数等。

例如，在图9中，通过先腐蚀后膨胀的开运算操作实现了去噪，其中：

● 左图是原始图像。

● 中间的图是对原始图像进行腐蚀的结果。

● 右图是对腐蚀后的图像进行膨胀的结果，即对原始图像进行开运算的处理结果。

从图10中可以看到，原始图像在经过腐蚀、膨胀后实现了去噪的目的。除此以外，开运算还可以用于计数。例如，在对图11中的区域进行计数前，可以利用开运算将连接在一起的不同区域划分开，其中：

● 左图是原始图像。

● 中间的图是对原始图像进行腐蚀的结果。

● 右图是对腐蚀后的图像进行膨胀的结果，即对原始图像进行开运算的处理结果。

通过将函数cv2.morphologyEx()中操作类型参数op设置为“cv2.MORPH_OPEN”，可以实现开运算。其语法结构如下：

opening = cv2.morphologyEx(img, cv2.MORPH_OPEN, kernel)

2.5 闭运算

闭运算是先膨胀、后腐蚀的运算，它有助于关闭前景物体内部的小孔，或去除物体上的小黑点，还可以将不同的前景图像进行连接。例如，在图12中，通过先膨胀后腐蚀的闭运算去除了原始图像内部的小孔（内部闭合的闭运算），其中：

● 左图是原始图像。

● 中间的图是对原始图像进行膨胀的结果。

● 右图是对膨胀后的图像进行腐蚀的结果，即对原始图像进行闭运算的结果。

从图12可以看到，原始图像在经过膨胀、腐蚀后，实现了闭合内部小孔的目的。除此以外，闭运算还可以实现前景图像的连接。例如，在图13中，利用闭运算将原本独立的两部分前景图像连接在一起，其中：

通过将函数cv2.morphologyEx()中操作类型参数op设置为“cv2.MORPH_CLOSE”，可以实现闭运算。其语法结构如下：

closing = cv2.morphologyEx(img, cv2.MORPH_CLOSE, kernel)

代码

import cv2
import numpy as np
img1=cv2.imread("closing.bmp")
img2=cv2.imread("closing2.bmp")
k=np.ones((10,10), np.uint8)
r1=cv2.morphologyEx(img1, cv2.MORPH_CLOSE, k, iterations=3)
r2=cv2.morphologyEx(img2, cv2.MORPH_CLOSE, k, iterations=3)
cv2.imshow("img1", img1)
cv2.imshow("result1", r1)
cv2.imshow("img2", img2)
cv2.imshow("result2", r2)
cv2.waitKey()
cv2.destroyAllWindows()

2.6 形态学梯度运算

形态学梯度运算是用图像的膨胀图像减腐蚀图像的操作，该操作可以获取原始图像中前景图像的边缘。

2.7 礼帽运算

礼帽运算是用原始图像减去其开运算图像的操作。礼帽运算能够获取图像的噪声信息，或者得到比原始图像的边缘更亮的边缘信息。

例如，图14是一个礼帽运算示例，其中：

● 左图是原始图像。

● 中间的图是开运算图像。

● 右图是原始图像减开运算图像所得到的礼帽图像。

从图15中可以看到，礼帽运算使用原始图像减开运算图像得到礼帽图像，礼帽图像是原始图像中的噪声信息。

例如，在图15中，左图是原始图像，中间的图是开运算图像，右图是原始图像减开运算图像得到的礼帽图像，礼帽图像显示的是比原始图像的边缘更亮的边缘信息。

import cv2
import numpy as np
o1=cv2.imread("tophat.bmp", cv2.IMREAD_UNCHANGED)
o2=cv2.imread("lena.bmp", cv2.IMREAD_UNCHANGED)
k=np.ones((5,5), np.uint8)
r1=cv2.morphologyEx(o1, cv2.MORPH_TOPHAT, k)
r2=cv2.morphologyEx(o2, cv2.MORPH_TOPHAT, k)
cv2.imshow("original1", o1)
cv2.imshow("original2", o2)
cv2.imshow("result1", r1)
cv2.imshow("result2", r2)
cv2.waitKey()
cv2.destroyAllWindows()

2.8 黑帽运算

黑帽运算是用闭运算图像减去原始图像的操作。黑帽运算能够获取图像内部的小孔，或前景色中的小黑点，或者得到比原始图像的边缘更暗的边缘部分。