ISP图像处理简介

ISP图像处理简介

简介

ISP(Image Signal Process）图像信号处理芯片，会处理来自图像传感器端的RAW图数据，以人眼感知质量为目标，设计出了多个图像处理模块，最终得到一张美观自然的彩色图像。

需求场景

• 由于镜头和传感器的物理缺陷以及拍摄环境的多样性，传感器输出的原始数据和人类预期的图像有巨大差异。
• 对于独立数码相机，镜头/CMOS传感器画幅越大，效果就会越好越专业。但由于手机面积小等局限性，手机摄影与成像对摄像头的依赖性极低，对图像处理技术的依赖性极高。

应用行业

• 公安需要监控设备提升夜视能力，延长监控有效时间，以获取更多取证信息，提升破案率。
• 智慧城市：需要实时收集和保存高清视频数据，以供城市大脑进行全局分析，利用可靠数据优化调整公共资源。
• 自动驾驶：前视ADAS需要ISP快速分析远近物体，镜头聚焦在远距离范围内，需要较高的系统灵敏度；后视和环视则需要ISP应用畸变矫正算法和多图像拼合。

相机系统结构

镜头模组lens->传感器sensor->图像信号处理芯片ISP->后端视频采集单元

• 镜头模组lens：作为光学系统将光信号投射到sensor的感光区域
• 传感器sensor：利用CMOS，采样（拍摄）、量化（利用RGB或者YUV把像素编码）等，把连续的感知数据转换为数字形式，实现光电转换，将Bayer格式的RAW图像送给ISP
• ISP：控制sensor，修复摄像头的一些缺陷。经过算法处理，输出RGB空间域的图像给后端的视频采集单元

ISP所属环节

在相机成像的整个环节中，它负责接收感光元件（Sensor）的原始信号数据，可以理解为整个相机拍照、录像的第一步处理流程，用于处理图像信号传感器输出的图像信号。它在相机系统中占有核心主导的地位，是构成相机的重要设备。

ISP主要作用

对前端图像传感器输出的信号做后期处理，主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等，依赖于ISP才能在不同的光学条件下都能较好的还原现场细节，ISP技术在很大程度上决定了摄像机的成像质量，是拍照过程中的运算处理单元，其地位相当于相机的“大脑”。

ISP架构

ISP内部包含CPU、SUP IP、IF等设备，事实上，可以认为ISP是一个SOC(System of chip)芯片系统，可以运行各种算法程序，实时处理图像信号。

• 外置ISP架构：独立ISP芯片是独立于处理器而存在的，虽然成本较高，但优势也是比较明显的。除了运算能力、成像质量更优秀外，一般的独立ISP芯片都是手机商向ISP提供商定制的，所以与相机其他组件的契合度更佳，成像也有属于自己的风格、特色。同一颗AP芯片，可以搭配不同型号的ISP，这样可以实现产品的差异化。
• 内置ISP架构：集成的ISP会在手机CPU里，ISP的驱动程序可以说是手机成像算法，这与手机成像的好坏，有着关键因素。

图像接入ISP的方式

使用ISP处理图像数据时有两种常用的数据接入方式：

• 在线模式：sensor产生的实时数据和时序控制信号以行为单位送入ISP进行处理，具备低延迟的优点，具体表现是一帧图像的第一个像素数据流出sensor后马上就进入ISP流水线开始处理。
• 离线模式：待处理的图像以帧为单位存储于系统内存，需要处理时由一个控制逻辑通过DMA从内存中读取数据，并添加模拟sensor行为的时序控制信号，然后送给ISP进行处理，所以ISP通常需要等到一帧图像的最后一个像素数据到齐之后才开始启动处理。

相关术语

RAW

RAW是未经处理、也未经压缩的格式，可以把RAW概念化为“原始图像编码数据”或更形象的称为“数字底片”。

• RAW图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据。
• RAW文件是一种记录了数码相机传感器的原始信息，同时记录了由相机拍摄所产生的一些元数据（Metadata，如ISO的设置、快门速度、光圈值、白平衡等）的文件。

ISP IP

IP一般指知识产权，在集成电路行业里，重复使用预先设计并验证过的集成电路模块，被认为是最有效的方案，用以解决芯片设计工业界所面临的难题。这些可重复使用的集成电路模块称为IP。IP核称为硅知识产权。
ISP IP相当于整合一个图像处理方案，比如结合FPGA

3A技术

包含3种算法，AE(自动曝光-画面亮度)、AWB(自动白平衡-画面色彩程度)、AF(自动对焦-影响焦距以及是否清晰)

AI ISP

当面对越来越高的场景复杂度和特殊的图像质量要求时，传统ISP正面临了参数库逐渐庞大、调试困难、开发周期逐步拉长等挑战。以AI技术为辅助，通过机器学习的方法来强化ISP的功能就成为技术发展的重要方向，由此诞生了AI ISP

早期带ISP的大摄像头（安防等领域）由于没有或者没法集成性能强劲的CPU和NPU，只能把原始图像数据交给ISP处理后，再发给后端强大的服务器（可能是CPU、GPU或者还包含NPU）进行分析处理。而最近两年已经量产并实现了非常好效果的AI ISP相当于把后端服务器的分析处理能力（NPU能力）前移，放到了ISP芯片里面。这实际上就是在ISP芯片之内再进行AI分析。因此，AI算法的优劣就决定了AI ISP性能的好坏，也决定了“看得见”、“看得清”、“看得远”能力的强弱。

传统的算法再怎么优化都会出现天花板。随着计算规模的提升、数据规模的提升、神经网络复杂度的提升，神经网络所体现出来的速度和效果会远远大于传统的其他方法，它会不断的去超越传统的算法。

使用深度学习，完全替代或部分替代传统ISP流水线模块。

优缺点

AI ISP强大的功能也意味着更大的能耗，其训练和推理过程需要消耗大量的能量和资源。而传统ISP通常采用硬件实现，能够在低功耗下进行高效的图像处理，因此在很多通用场景下，传统ISP的功耗要远低于AI ISP。

参考资料

openISP
ISP的matlab仿真
基于MATLAB与FPGA的图像处理教程