非结构化数据分析与应用（Unstructured data analysis and applications）（pt3）图像数据分析1

数字图像的表示——矩阵

数字图像表示为像素构成的两维矩阵

•二维离散亮度函数f(x,y)，f代表了在点(x,y)处像素的灰度值xy

•二维矩阵——F[m,n]，m,n说明图像的宽和高。

数字图像的彩色表示

图像数据分析的任务

1. 分类任务：针对给定的图像或视频，判断其中的目标包含什么类别。

2. 检测任务：针对给定的图像和视频，定位出某目标的位置，进一步判定目标物的类别。

3. 分割任务：针对给定的图像或视频，判断不同像素区域属于哪一个目标物或场景。分为 实例分割（Instance-level）、场景分割（Scene-level）和语义分割。

4. 检索任务：根据输入图像，查找具有相同或相似目标、对象或内容的其他图像。

5. 推荐任务：从用户的历史购买记录中发掘其消费偏好，筛选出用户感兴趣的部分，提供 个性化的服务。

6. 行人重识别任务（Person Re-Identification，简称 ReID） ：解决跨摄像头跨场景下行 人的识别与检索。 

图像分析系统组成 

低级处理：图像获取、预处理 

中级处理：图像分割、表示与描述 

高级处理：图像分类、识别、解释，理解等 

基于经典特征的图像系统分析框架 

 最后输出结果

基于深度学习的图像分析系统框架

 输入图像或视频，系统输出的结果为分类标签

深度学习是端到端的系统 ，特征嵌入在网络中

权值通过网络不断的迭代和优化获得深度特征

如何设计有效的深度网络架构和损失函数是关键

图像的经典特征

全局特征是指图像的整体属性 

常见的全局特征： 统计特征、颜色特征和形状特征

良好的不变性、计算简单 、但特征维数高、计算量大 、图像中有遮挡时性能下降 

局部特征：对图像特征的局部表达 

常见的局部特征： 边缘特征、纹理特征 、目标检测特征

 边缘、角点、线、曲线和特别区域等

包括角点类和区域类两大类描述方式

图像的统计特征-灰度直方图

灰度级在范围[0，L-1]的数字图像的直方图是一个离散函数 h(rk)= nk

nk是图像中灰度级为rk的像素个数 rk 是第k个灰度级k =0,1,2, …,L-1

rk的增量是1，直方图可表示： p(k)= nk

图像中不同灰度级像素出现的次数，统计了图像像素的灰度级分布或单色彩分布  、 可以看出图像是否曝光不足或曝光过度

图像直方图的分析

图像直方图的均衡化

当图像的灰度分布不均匀且集中在较窄区域时 

采用直方图均衡化或直方图规一化进行优化处理，使其分布均匀

S.T.整个图像亮度范围内具有相等的灰分布度 

图像信息熵

图像信息熵描述一幅图像含有的信息量。 一幅图像有 K个灰度级，各个灰度级出现的频率为P i, 图像的信息熵 H 用以下公式计算： 

 当图像中的各个灰度级出现的概率相等时，图像的熵值最大。

 图像的方差和协方差：灰度平均值f是指一幅图像中所有像素灰度值的算术平均值

 灰度方差S反映了图像中各个像素的灰度值与整个图像灰度平均值的离散程度

图像的彩色特征－颜色空间 

 常用的彩色空间有： •RGB色彩空间 •HSV色彩空间 •YUV色彩空间 •YCrCb色彩空间

OpenCV中关于彩色空间转换的API ：

色彩空间转换函数cvtColorCOLOR_BGR2GRAY

彩色到灰度COLOR_GRAY2BGR

灰度到彩色COLOR_BGR2HSV

BGR到HSV COLOR_HSV2BGR

HSV到 BGR COLOR_BGR2YCrCb