图像融合self
缺陷检测处理流程
1、图像预处理阶段
图像去噪（像素级别的去噪，特征级别的去噪），图像增强，对比度受限自适应直方图均衡化。
图像形态学处理，二值化（阈值或者动态阈值二值化），腐蚀和膨胀，开闭。腐蚀是二值化图像中白色区域变小，黑色区域变大，膨胀是二值化图像中白色区域变大，黑色区域变小。
开运算：去除图像中的小物体或者小噪声，先腐蚀后膨胀
闭运算：填报图像中的小空洞，增加联通区域，线膨胀后腐蚀。
梯度滤波器，Sobel、Scharr（前两个算子需要指定x向或者y向） 和 Laplacian（x,向，y向直线边缘检测垂直和水平）
霍夫变换理论上检测直线或者圆，但是通过严格的参数定义，可以检测设定的曲线或者椭圆（由于部分缺陷近似直线可以使用）
暗场照明（Darkfield Illumination）
- 定义：暗场照明通过特殊的照明技术，使得光线不直接通过物镜，而是通过标本的边缘或散射区域。高对比度：由于光线不直接通过物镜，只有被标本散射的光线才能进入物镜，因此背景是暗的，而标本则是亮的，产生高对比度。
2、缺陷检测（划痕检测，颗粒检测，模糊颗粒检测）
传统机器学习：霍夫概率变换，检测直线或者圆，边缘检测
深度学习：DSR方法，基于小样本的无监督缺陷检测，一个编码器以及两个解码器（通用对象外观解码器，对象特定外观解码器），异常检测模块，重建的正常图像和源图像进行逐像素对比，定位缺陷的位置和大小。
-----------------------------------------------------------------------------------------------------
噪声处理：高斯噪声，椒盐噪声。
中值滤波，均值滤波，非局部均值滤波，变换滤波（如小波变换阈值滤波），双边滤波。
其中变换滤波以及双边滤波可以更少的损坏图像细节。
特征检测与匹配：包括 SIFT、SURF、ORB 等特征点检测和描述符匹配。
1. 非局部均值去噪的基本原理
在非局部均值（Non-Local Means, NLM）去噪算法中，寻找的是多个相似的邻域块，而不是仅仅寻找一个。这个正是非局部均值算法区别于传统局部滤波方法的关键所在。
原理
非局部均值去噪的核心思想是，图像中存在很多相似的结构或纹理，即使它们相隔很远。为了更好地去除噪声，同时保留图像细节，NLM 算法会在整个图像中搜索和某个像素邻域相似的多个邻域。
具体而言：
- 给定像素的邻域：对于某个像素，算法会取一个小的邻域块（通常是一个正方形窗口）作为参考。
- 搜索相似邻域：在整幅图像中搜索与参考邻域相似的其他邻域，而不仅仅局限于参考像素附近的局部区域。
- 加权平均：找到多个相似的邻域后，根据它们的相似度计算权重，并对这些邻域的像素值进行加权平均。最终，参考像素的值将被多个相似邻域的加权平均值替代，从而达到去噪效果。
关键点：
- 相似性度量：算法通过计算参考邻域和其他邻域之间的相似度（通常使用加权欧式距离或其他相似性度量）来判断邻域的相似性。
- 多个相似邻域的加权平均：NLM 不是简单地选择一个最相似的邻域，而是会结合多个相似的邻域块，通过加权平均方式来决定该像素最终的去噪结果。每个相似邻域对结果的贡献取决于它与参考邻域的相似性。
- 全局搜索：与局部均值滤波不同，NLM 算法可以在整个图像中寻找相似块，而不局限于某个小的局部区域。正是这种非局部特性，使得 NLM 在保持图像细节（如纹理和边缘）方面具有显著优势。
算法的几个重要参数：
- patch size（邻域大小）：用于比较的邻域块的大小，一般是 7×77 \times 77×7 或 5×55 \times 55×5。
- search window size（搜索窗口大小）：搜索相似邻域的范围，通常是 21×2121 \times 2121×21 或 31×3131 \times 3131×31，这决定了在多大范围内查找相似的邻域块。
- 滤波参数 hhh：用于控制相似度的衰减，如果两个邻域的相似性较低，那么它们对去噪结果的贡献也会被减少。
2. 多图像的非局部均值去噪
在多图像去噪的场景下，NLM 也可以扩展到多个输入图像的情况。这对于像 CT 扫描、MRI 图像或多次曝光的照片非常有用，通常多幅图像存在一定的冗余信息，通过使用非局部均值算法，可以利用不同图像的相似性来增强去噪效果。
对于多图像去噪，非局部均值的原理与单图像去噪类似，但在搜索相似邻域时，可以在所有图像中查找，而不仅限于单幅图像。
多图像去噪的步骤：
- 输入多幅图像：将所有图像看作相似场景的不同观测，每幅图像中包含噪声。
- 寻找相似块：在多幅图像的联合域中，寻找某个像素的相似邻域块。这意味着不仅在当前图像中查找相似邻域，还可以在其他图像中查找。
- 加权平均：计算这些相似邻域的加权平均值，得到去噪后的像素值。
skimage库，opencv库都支持
图像融合介绍
基于多尺度分解的多源图像融合的质量和效果主要取决于分解解和重构的工具和融合规则的设定
图像融合的三个层次：像素级融合，特征级融合，决策级融合
1、像素级融合是对多源图像机型像素级别的预处理（配准，去噪和增强等），像素级融合可以更充分利用和探索图像中的有效特征和信息
2、特征级融合是利用算法将图像中的某些特征提取之后在融合（特征通常指图像轮廓，边缘，亮3、度等）
决策级融合依赖于成熟的数学理论或者模型，例如主观贝叶斯方法。4、多焦点图像融合，多曝光图像融合，多模态医学图像融合，遥感图像融合，红外可见光图像融合
图像分解
拉普拉斯金字塔，梯度金字塔用于图像分解融合，小波分解图像融合算法
多尺度几何变换用于图像融合（使小波分解变换对方向更敏感）：曲线波，轮廓波，非下采样轮廓波，剪切波等。
非下采样轮廓滤波：由非下采样金字塔和拉普拉斯金字塔的设计类似，不同在于使用了不同的滤波单元，非下采样反向滤波单元可以捕捉不同方向的图像细节和边缘特征，确保了图像的平移不变性。
融合规则
1、空间域融合方法：线性加权，假彩色融合，统计模型方法（建立在图像或成像传感器统计模型的基础上，确定出融合优化函数进行参数估计，由源图像建立一个鲜艳模型，找到先验概率最大的融合图像，转变为优化问题），神经网络融合
2、变换域融合方法：基于金字塔的变换融合方法，基于小波变换的融合方法，基于其它多尺度分解的融合
3、变换域融合方法的融合规则：基于像素选取的融合规则，基于邻域窗口的融合规则和基于区域特征的融合规则。
融合性能的评价指标
基于单幅图像的统计特性的评价指标
均值、信息熵、标准差、平均梯度、空间频率等
1、均值：所有像素灰度算术平均值（一般图像的标准在128附近，视觉良好，特殊图像另外处理）
2、信息熵：空间频率越大，表明图像的空间与的总体活跃程度高，图像效果好。
3、平均梯度：反应了图像中微笑细节反差表达能力和纹理变化特征，也反应图像的清晰程度。x向y向梯度综合考虑，平均梯度越大，表明图像越清晰。
4、空间频率：空间频率越大，表明图像的空间域的总体活跃程度越高，图像效果越好。
基于源图像的评价指标
交叉伤、互信息量、相关系数、偏差指数、扭曲程度
1、交叉熵：求融合图像与多幅原始图像的均方根交叉熵，交叉熵反映了融合图像与多个源图像之间的对应像素之间的差异，交叉熵越小，差异则越小，融合方法从原始图像提取的信息量则越多。
2、互信息量：互信息量评估两个或多个变量之间的相关性，融合图像与两个或多个源图像的互信息值越大，表明融合图像从源图像中获取的信息越多，融合效果越好
3、相关系数：相关系数越大，融合效果越好
4、偏差指数：偏差指数DI指融合图像F各个像素灰度值与源图像A相应像素灰度值差的绝对值，与同源图像A相应像素回复纸币的平均值。偏差指数的大小表示融合图像与源图像平均灰度值的相对差异，反应融合图像在光谱信息上的匹配程度和将源高分辨率图像的细节传递给融合图像的能力，理想情况下DI=0.
5、扭曲程度：反应融合图像的失真程度，DD值越小，融合图像对源图像的失真程度越小
基于参考图像的评价指标（融合图像与标准参考图像之间的差异程度）
1、均方根误差
2、峰值信噪比
数据集
1、模拟数据集：把高清的自然图像进行高斯滤波，进而获得由清晰图像和模糊图像构成的图像对。清晰图像代表聚焦区域，模糊图像代表散焦区域。