计算光学基础

传统光学成像技术通过透镜将物体发出的光线汇聚到面阵探测器上，经光电转换获取物体的二维强度图像。基于该技术研制的光学仪器如显微镜、望远镜等，是研究微观世界、探索宇宙奥秘的基础。但是，这种成像技术难以获取物体的完整信息且成像质量与硬件成本难以权衡。

20世纪末，得益于计算机、光场调控、传感器等技术的迅猛发展，衍生出了通过光学编码和计算解码间接获取物体信息的计算光学成像技术，使得探测物体高维信息、降低硬件成本乃至突破物理极限成为可能。近年来，人工智能技术也被广泛应用到计算光学成像中，通过数据驱动的方式对系统的编码方式和解码算法进行智能设计，极大地提升了成像质量和效率。

然而，传统数据驱动的方法存在数据获取困难、泛化性及可解释性差等问题，限制了该方法的进一步应用。

为推动智能计算光学成像技术的实际应用，中国科学院上海光学精密机械研究所的信息光学与光电技术实验室司徒国海研究员课题组和量子光学重点实验室韩申生研究员课题组合作，提出了模型与数据联合驱动的新型计算成像方法，并成功应用于单像素成像中，获得了优于传统方法的成像结果。相关研究成果发表于 Photonics Research 2022年第1期。

在该方案中，研究团队首先使用仿真数据驱动的方式对单像素成像系统的编码模式和解码算法进行智能设计；然后将网络学习所得编码模式加载到光场调制器件中对目标物体进行编码探测；再使用解码算法处理所得探测信号，得到网络增强的结果；最后使用模型驱动的方式微调网络参数以拟合实测信号，进一步增强成像质量，原理如图1所示。

图1 模型与数据联合驱动单像素成像原理图

依此方法，在采样比仅为6.25%的单像素成像实验研究中，获得了高信噪比（~30dB）成像结果。研究人员还将该方法应用到了单像素成像雷达实验中，成功获取了实现公里级（~0.57km）目标的三维形貌（图2）。

图2 模型与数据联合驱动的单像素成像雷达原理及外场实验结果

司徒国海研究员表示，这种联合驱动的方案即挖掘了数据中蕴含的丰富信息，又保留了物理模型对任意结构类型数据的普适性，为突破传统模型驱动优化算法约束条件不足和数据驱动人工智能技术泛化性受限的瓶颈提供了一种新的思路。

一、什么是计算光学

在华为年度旗舰手机P50系列发布会上，华为公布了两个新东西，一个是计算光学，一个是原色引擎，号称手机影像划时代的创举。作为一名电子信息科学与技术专业的学生，我似乎更对这个集合了算法、光学原理于一体的计算光学感兴趣，所以想要深入的探究并且学习它。在浏览了众多文章之后，如果从表面上去思考，这个原理其实也不复杂。

图 1  常见相机模组结构图

我们都知道，相机主要由三部分组成：CMOS传感器、光学镜头和ISP（图像信号处理），成像的基本流程是：光学镜头将光线汇聚到CMOS上，由CMOS将光学信号转化为数字信号，然后由ISP对数字信号进行处理。

对于手机发烧友来说，CMOS是最熟悉和耳熟能详的部分，比如1亿像素，大底，之类的，指的就是这个。但实际上，对于相机素质来说，镜头的影响同样重要，我们经常看到的很多照片问题，比如解析力、炫光、色差、像差、边缘画质崩塌等问题，其实更多的是镜头素质不足导致的。

对于光学问题来说，镜头素质和体积是天然呈正相关的，比如高素质的长焦镜头FE70-200 F2.8，镜头长200mm，重量1450g。又或者50mm的标头，最新的FE 50 1.2，72mm口径，778g重量，这已经是轻量化之后的结果了。

相机镜头为了消除一系列的光学问题，尤其是各种像差，如彗差、球差、场曲、象散、畸变等等，一般通过采用更多的光学镜片，使用凸透镜和凹透镜相互配合来解决，更多的光学镜片会带来刚大的进光量损失和镜片之间光线折反射带来的色彩问题，这就需要更先进的镀膜工艺了。

这就是为什么越是高端的镜头，整体的体积越大，重量越重，价格越贵。但对于手机来说，这是不现实的，无论是成本还是体积，都不支持这种方向的镜头素质提升。光学镜头所带来的一系列的光学问题，本质都是光路的问题，而光路是可逆的，对一颗确定的镜头来说，它的光学特点和潜在的光学问题是固定的。

图 2 光线进入镜头时的路线图

举个简单的例子：A点发出的光线，理想状态下经过镜头后应该汇聚到B点，这是理想的成像结果，但现在因为镜头的光学问题，它跑到了B1点上，和我们想要的结果出现了偏差。

但同时，只要这颗镜头本身是确定的，在这样的镜头位置下，A点的光都会跑到B1点去，这个是确定的。只要镜头的光学函数是已知的，那么B1点的位置也是已知的，那么，我们就可以通过算法，把B1点的信号再挪到B点上去，利用计算能力去解决光学镜头无法解决的光学问题，这就是华为所说的计算光学。

其和计算摄影的根本区别在于：计算摄影解决的是后期问题，是以RAW原始文件为基础，根据我们想要的效果进行处理和增强，但RAW文件就已经缺失的信息就没办法了；而计算光学解决的的恰恰是因为镜头原因导致的RAW文件信息损失的修补，解决的是前期信息采集过程中的问题。

比如我们做菜，计算摄影相当于是厨师，通过配料和烹饪把案头的原材料做成一道成品菜，而计算光学则是对原材的处理，通过一系列手段，弥补蔬菜、肉类等运输和保存过程中的问题，把烹饪前的菜尽可能还原成更新鲜的菜。

当然，这个只是简单的原理性叙述，实际的实现要远比这个过程复杂得多。

二、计算光学的原理

光能被人看得见感受到，因此在早期是和天文学，力学，几何，热等最早发展起来的自然学科，但是由于认知的限制，在相当长一段时间内，光被认为是一种沿直线传播的微粒流，这种理论能很好解释光沿直线传播，反射，折射等现象，但无法解释偏振，干涉，衍射等现象，后来惠更斯提出了光的机械波动理论，再后来托马斯和菲涅尔等人测定了光的波长，完善了光的波动理论，解释了光的干涉，衍射现象，大大推动了光学的发展；再后来麦克斯韦在前人基础上建立了麦克斯韦方程，预言了电磁波的存在，并提出光也是一种波长较短的电磁波，事实证明光也是电磁波的一种。

很多人都听说过19世纪笼罩在物理学晴朗天空中的两朵乌云，这是19世纪最后一天，英国著名物理学家威廉.汤姆森(即开尔文男爵)在新年祝词上回顾物理学取得成就提出的，其中一朵乌云是关于光的波动理论以太论与实际实验相结果互矛盾；第二朵乌云也就是黑体辐射实验结果和经典物理理论相差甚远。正是这两朵“乌云”导致了后来相对论和量子力学的出现和发展。而这两个问题也都恰恰和光学有关。

1905年爱因斯坦提出了光量子的概念，简称“光子”，指出光子是传递电磁相互作用的基本粒子，光子的静止质量为0, 光子以光速运动，具有能量和质量。光子的能量和光的振动频率成正比，当物体发出光或者吸收光时候，都需要通过光子来传递能量，人所看见的光也就是来自于光子发出的能量，光既然是一种电磁波，也就有频率和波长，人类肉眼可见的电磁波频率范围在400纳米到760纳米之间，1纳米等于10负9次方米。

光学的研究和应用范围相当广泛。本文简要介绍一下计算光学相关的一些理论，研究方法。

几何光学

几何光学是以光线作为基础概念，用几何的方法研究光在介质中的传播规律和光学系统的成像特点的学科。几何光学把研究光经过介质的传播问题归结为如下几个定律：直线传播，独立传播，折射和反射。这是研究光的传播现象，规律以及物体经过光学系统成像特性的基础。

几何光学主要研究光学系统的成像问题，涉及到一些光学参数，成像关系，传播介质设计等等。是计算光学中主要内容之一。

波动光学

前面介绍过光本质上是一种电磁波，所以可以用麦克斯韦方程来描述，而几何光学，则是当波长趋于0的时候的波动光学的一种近似。后续会更详细的介绍电磁波理论，并介绍光的电磁波的相关特点。

干涉

光的干涉现象是光的波动性的重要特征。1801年杨氏双缝干涉实验证明了光可以发生干涉。其后，菲涅尔等人用波动理论很好地说明了干涉现象的各种细节。光的干涉技术在科学技术的许多方面都有广泛的应用。光波服从波的叠加原理，在两个或者多个光波叠加区域，某些点的振动始终加强，另一些点的振动始终减弱，该区域内在观察时间里形成的光强强弱分布的现象称为光的干涉现象。光波的频率相同，振动方向相同和相位差恒定是能产生干涉的必要条件。满足干涉条件的光波称为相干光波，相应的光源成为相干光源。

衍射

光的衍射是光的波动性的主要标志之一。建立在光的直线传播定律基础上的几何光学不能解释光的衍射现象，这种现象的解释要依赖于波动光学。历史上最早成功地运用波动光学原理解释衍射现象的是菲涅耳(1818 年)，他把惠更斯在17世纪提出的惠更斯原理用干涉理论加以完善，发展成为惠更斯-菲涅耳原理，从而相当成功地解释了光的衍射现象。在光的电磁理论出现之后，人们知道光是一种电磁波，因而光波通过小孔之类的衍射问题应该作为电磁场的边值问题来处理。但一般这种普遍解法很复杂，实际所用的衍射理论都是一些近似解法。

偏振光

根据偏振的特点，可以分为自然光，偏振光，部分偏振光。光矢量的方向和大小有规则变化的光称为偏振光。自然光在传播过程中，由于外界的影响，造成各个振动方向上的强度不一样，叫做部分偏振光。

傅里叶光学

傅里叶光学是把通信理论，特别是其中的傅里叶分析(频谱分析)方法引入到光学中逐步形成的一个分支，它是现代物理光学的重要组成部分。

光学系统通常是用来成像的，从物平面上的复振幅分布或光强分布得到像平面上的复振幅分布或光强分布。从通信理论的观点来看可以把物平面上的复振幅分布或光强分布看作是输入信息，把物平面叫作输入平面，把像平面上的复振幅分布或光强分布看作是输出信息，把像平面叫作输出平面。光学系统的作用在于把输入信息转变为输出信息，只不过光学系统所传递和处理的信息是随空间变化的函数，而通信系统传递与处理的信号是随时间变化的函数。

光学系统和通信系统具有相似，不仅在于两者都是用来传递和变换信息，而且在于这两种系统都具有一些相同的基本性质，如线性和空(时)间不变性等，因此都可以用傅里叶分析（频谱分析)方法来描述和分析。通信理论的许多经典的概念和方法，如滤波、噪声中信号的提取，相关、卷积等，都被移植到光学中来，形成了光学传递函数、光学信息处理、全息术等现代光学发展的新领域。

现代光学系统

随着技术的发展，利用现代光学技术，发展出了各种现代光学系统，比如激光光学系统，傅里叶光学系统，扫描光学系统，光纤光学系统等等，这些都是现代光学快速发展的成功应用。

综上所述，计算光学既涉及到用几何光学，又有波动光学计算特性，比常人想象的可见光概念复杂的多，光学串起了从宏观到量子微观，从普通成像到电磁波等几乎整个理论物理体系。

三、计算光学的发展历史

事实上，计算光学这个概念并不是在2021年才开始流行起来的，在我查找文献时发现，早在1982年《光学学报》第一期上，中科院沈阳技术研究所王琦同志提出了计算光学差传递函数的一个新方法，此时还停留在数学计算理论的层次上。直到１４年后，罗敏发表论文《用自相关函数法计算光学传递函数》，用剪切干涉法方便准确地测量出光瞳函数 (即渡差)，用自相关法计算和测OTF（观目系数）得到了快速的发展。

１９９１年中科院广州电子研究所郑善锋利用CGH（计算全息图）作为全息透镜，建立一个高度空间可变光学系统，以实现光学几何变换。输入物波函数受CGH的位相调制作用后经透镜进行傅里叶变换，在透镜的频谱面上接收输出变换结果 实现了圜环到直线、直线到点以及圆环到点等光学几何变换，为后续的发展奠定了基础。

１９９２年，姜会林院士发表论文《计算机辅助光学设计》，运用程序设计的思想，借助当时长春光计学院计算中心的VAX８６００计算机，通过FORTRAN语言作为开发程序的工具，经过大量的计算和无数次程序的调试，考度温度等外在条件的影响，实现了光谱的材料选择。

１９９７年，北京理工大学王涌天教授发展了H．H．Hopkins教授首创的物象空间正则归一化坐标理论，将其应用于非常规复杂光学 系统的分析设计，解决了新一代复杂系统，的数据存储、光线追踪、象差计算、象质分析和结构优化 中遇到的一系列问题，。在理论研究的基础上研制成功的非常规复杂光学系统分析优化程序 GOSA可以在国内普及的IBM系列微机上运行，具有理论新颖、计算可靠、通用性强、功能齐全、使用方便、易于扩充等许多优点 。

２００１年，黄呈辉推到了一种精确计算光学材料吸收系数的公式。众所周知，不同的光学材料在不同光渡长下台产生不同程度的吸收，因此精确计算光学材料特定渡长下的光学吸收系数，对深人研究光学材料的特性，提高相关器件设计的准确性及其性能都具有重要的意义。

2005年，张明昕在优化几何构型的基础上，对一系列强关联过渡金属化合物，采用密度泛函理论方法中各种交换关联势计算了电子偶极矩、一阶光学极化率和一阶光学超极化率。考虑基组和频率影响，对比从头算MP2，HF方法及实验值，评价了各种交换关联势的计算表现。在此基础上，讨论新的混合密度泛函交换关联势，以提高密度泛函理论方法计算含有过渡金属体系非线性光学性质的精度。

2010年，鲍文卓团队为实现复杂结构空间目标光学特性的工程化计算，基于计算几何的面元网格化思想，提出了一种空间目标光学特性计算方法。建立了空间目标标准几何结构、面元网格划分、面元遮挡、面元照度计算的数学模型，设计开发了空间目标光学特性计算软件。针对不同的卫星目标，进行了光学特性的计算，并将计算结果分别与解析法计算结果和试验测量结果进行比较分析，结果表明面元网格化的计算精度优于解析方法，且与试验结果相比其计算偏差小于一个视星等，满足工程应用的要求。

2016年，姜家宝院士为了提高三值光学计算机的存储与转换效率，该文提出一种把 N 位改进的有符号数（ＭＳＤ）转换成N位标准二进制数的串并混合转换方法。基于此转换方法利用偏振片、液晶、分光器、反射镜、译码器和光电管等光电器件设计了硬件转换器逻辑结构。使用转换器ＳＤ１１可以直接以标准二进制形式输出结果，从而使存储效率提高５０％，同时实现ＭＳＤ数据转换硬件化。

2019年，曹非提出了一种新的基于多波长光源计算鬼成像的光学加密方案。方案使用红绿蓝三色光产生多个随机散斑，将散斑序列的相位掩膜矩阵调制成随机Toeplitz矩阵，散斑的对应波长是随机三色光波长，相位掩膜和波长同时作为光学加密的两个密钥。所有散斑经过相同的轴向距离到达物体后，最终利用压缩感知技术恢复物体图像。数值仿真表明，方案在双密钥全部已知条件下能完全恢复物体图像，密钥窃取率低于60％不能获得物体图像信息。获得同等质量的图像，方案所需的测量次数和传输密钥量仅是基于计算鬼成像的双密钥光学加密方案的1／3。至此，光学计算技术已经相当成熟。

2021年，段潮舒阐述了 MOC（多元光学计算）方法的发展历史、MOC 光谱仪的原理和近年来的主要研究进展,总结了滤波器的设计方法、滤波器的光学器件和 MOC 光谱仪的应用,探讨了基于 MOC 的光谱仪在滤波器的设计及光学实现、系统集成等方面面临的挑战。再一次带动计算光学计算技术走向更加高级的发展。

简单介绍了计算光学在中国的发展历史，可以看出，光的本质非常复杂，远远超过人们可见光的理解范畴。而事实上，目前用来解释光本质的使用的是光的“波粒二象性”，即光既有波动特性，又有经典的粒子的特性。

四、计算光学的发展方向

计算机已经超越了电子学范畴。大约50年前，人们甚至激动地讨论过“流控(fluidic)”计算机，其基本原理是利用康达效应(Coanda effect)，即流体有离开本来流动的方向而改为随凸出的物体表面流动的倾向。它们利用塑料管中的水或空气来实现逻辑闸，逻辑闸之间透过标准柔软的塑料管相连，其优点是抗噪性好，缺点有很多，其中一个缺点是体积庞大、外形笨拙。一个典型的四输入“AND”或“OR”闸大约就有扑克牌一半大。基于空气的流控计算仍然是蚀刻微通道研究课题(勿与广泛使用的医疗仪器流体微信道混淆)，但我们要面对现实——它很难与摩尔定律(Moore’s Law)抗衡。

尽管还有一些研究在进行当中，但不可否认，模拟计算的时代已渐渐远去。现在，我们将“计算”与“数字”关联在一起(当然，从电子学和物理学的本质来看，数字电路本身就是模拟功能的一个细分子集，但这是另外一回事了)。最近出现了大量关于量子计算(quantum computing)的高阶研究项目，大量资金流入其中，然而我们并不清楚这是不是炒作，有多少希望，是否能够实现。我们还是静观其变，让那些比我更了解量子计算的专家来判断吧。

我们大可不必将自己局限于模拟、数字甚至量子计算。一些研究人员认为“生物(biologic)”计算才是真正的下一代计算，如果能研究出来的话。当然，它的速度可能比较慢(就像人脑)，但它会是一个灵活、通用、适应性强的自学“机器”，然而短期内这不会实现。毕竟，人类还没有真正弄清大脑的一些基本工作原理，例如大脑是怎样(而不是在哪里)保存影像和数据，或者在回忆一件事情时，为什么有时候立刻就能想起来，有时要等几小时这件事才忽然“蹦”到脑海里。或者想一想实现自动驾驶车需要的所有计算力和电力，几乎任何人都可以利用自己3磅重(1.4公斤)、功耗小于25W的超慢“生物计算机”，也就是大脑，透过学习然后计算出来。

但是，为什么要停止开发这些技术呢？因为人们正在进行光学计算的研究，鉴于光的带宽和速度，光学计算机可能运作速度快且功能强大。但控制和切换光通道确实是个难题。一些设计采用了MEMS微镜(其原理类似于德州仪器的数字光处理技术)，但即便如此，它仍然包含微型运动组件，并伴有速度与密度问题。

当然，研究人员正在寻找其他方法来发掘全光学计算的潜力。最近有一篇论文描述了一种奇妙的方法，是由麦克马斯特大学(加拿大)与哈佛大学(Harvard) John A. Paulson工程与应用科学学院(SEAS)的研究人员合作开发。他们采用一种新型水凝胶材料来实现膨胀与收缩，这两个过程是可逆的。较低的雷射功率会使这种材料的折射率发生变化，而水凝胶材料还充当光管使光能保留在光丝中，这一点与光纤相似。“切换”功能是这样的：当聚焦的雷射照射到水凝胶的某个区域时，该区域会略微收缩，使折射率发生变化；当雷射关闭时，水凝胶恢复到原来的状态。

尽管光学计算机确实可以拍出好照片，但它能做的却不仅仅是改变折射率和光通道，如图4所示。当多束光穿过水凝胶材料时，即使光束之间相距很远，或者光场没有重迭，它们也会相互作用并影响彼此的强度。论文合著者兼项目负责人、麦克马斯特大学副教授Kalaichelvi Saravanamuttu说：“尽管光束是分开的，但它们仍然彼此可见并发生改变。”透过改变折射率，可以停止、启动、管理和了解多条光丝之间的相互作用，从而产生可预测的输出—在逻辑功能的切换和开发中，这是重要的第一步。

图 3 (A)水凝胶的光异质化机理；(B)包含水凝胶材料的彩色球；(C)紫外线-可见吸收光谱显示溶液中的可逆异构化；(D)上面是实验装置图，用于探测由于光诱发水凝胶局部收缩而引起的雷射自陷，下方是原理图。激光束聚焦到水凝胶的入射面，其穿出面则成像到CCD相机。

计算光学成像是一个新兴学科，该学科结合光学技术、计算机技术和数字图像处理技术以达到更高性能的光学成像质量。计算光学成像技术包含景深延拓（Extention of DepthofField，EDOF）、光圈景深联合延拓（Extension of Iris and Depth of Field，EIDOF）技术、色彩高保真（Accucolor）技术、Magixoom 技术、TyIQ：像质提升技术。

1，EDOF 技术是采用计算光学成像原理，通过数字技术来模拟光学对焦系统。特制的 EDOF 镜头不同于传统价格高且繁重的自动对焦机制，特制的 EDOF 镜头采用独特的相位掩模板对图像编码形成中间像；通过 EDOF 解码技术对编码所产生的中间像进行解码获得清晰的大景深图像。EDOF 技术在光学镜头中进行对称波前编码，采用信息处理的方法进行解码，进而获取大景深图像。

2，EIDOF 技术同样也是基于计算光学成像理论的一种成像技术。该技术首先对光信息编码，通过计算机信息处理技术对编码后的信息解码，该方法大大的提升了光学系统的光圈和景深，这种新的方案有效的解决了大光圈和大景深同时实现产生的矛盾，因此在光圈和光通量都变大的前提下，景深也得到有效的扩展。EIDOF 技术可以达到通光率增大 2 倍以上、扩大光圈直径 1.5 倍以上的效果，以此来改善成像装置的信噪比。扩大焦深达 4 倍以上时光圈仍可增大，从而达到景深延拓成像。EIDOF 技术使得光学系统精度要求较低，系统装调更简便，更加可靠稳定等特点。

3，Accucolor 技术是一种具有颜色高保真，高亮颜色逼真，颜色的复原与场景不相关等优势的光学成像颜色复原技术；Accucolor 技术有望取代自动白平衡。Accucolor 技术采用新型白平衡处理算法，使得数码成像的颜色复原后更自然。Accucolor、亮度保真和形状保真可广泛的应用于高品质成像和显示。

4，Magixoom 是基于现代计算光学技术推出具备复眼结构和超凡获取光学图像信息能力的成像技术。Magixoom 技术具备远景特写和广角成像，且动态细节清晰等优点。Magixoom 技术攻克了低照度、宽视场、高分辨率三个成像条件不能同时提高的关键难点；并且对工艺的要求低，器件成本低，产品性能可靠稳定。

5，TyIQ 技术是对光学成像原理分析研究形成的新的成像机制，结合已有的技术方法及研究成果提出的图像像质提升技术。实质上就是通过软件改善光学系统分辨率的技术，使成像质量更佳。

传统光电成像系统存在大视场与高分辨率相互制约的问题， 随着成像技术的不断发展，为了同时获得更大的视场范围和更加细节的目标信息，广域高分辨率成像系统成为国内外光学领域学者们研究的热点问题。

计算光学成像技术集光学、数学与信息于一体，数学、物理相结合的设计方式能够打破传统低效、繁琐的光学设计模式，大幅度提升设计效果，在无人机监控、遥感测绘、机器视觉、生物医疗以及智能监控等多个方面具有广泛应用。

原理

2011年，Cossairt[1]等将透镜比例法则拓展到计算成像技术领域。在计算成像技术中，光学系统的分辨率是由探测器像元大小决定的，与传统透镜比例法则相比，计算光学成像系统的SBP随缩放因子增加的更快，也就是说分辨率随M增加较快，如图1曲线所示。同时在相机尺寸较小的情况下，计算光学成像系统可获得更大的分辨率。

图1 计算光学成像系统SBP随比例因子M变化曲线[1](

)

研究进展

目前实现大视场超高像素成像的方式主要有单镜扫描系统、多探测器拼接系统、多尺度成像系统以及多镜头拼接系统。

单镜扫描系统

单镜扫描系统通常将单个高分辨率相机安装于云台上，通过控制云台改变高分辨率相机的成像区域，借助图像拼接技术将拍摄到的多幅图像进行拼接获得大视场高清晰度图像。

2007年，Kopf等[2]提出使用单个单反镜头进行扫描拼接成像以获取广域高分辨率十亿级像素的图像，如图2所示。该系统使用100-400 mm焦距范围的变焦镜头，长焦时以大约5秒的速度拍摄单张图像，30分钟内采集高分辨率图像250张，90分钟内采集图像800张，全视场角150°，图像总像素数36亿，拍摄耗时30到90分钟，后期拼接处理需3到6小时。

图2 单镜扫描成像系统[2] (a) Meade LX200支架；(b)成像效果

多探测器拼接系统

多探测器拼接系统通过对光学系统内部像面进行分光，投射于各个探测器感光面上，最终借助数字图像处理算法获得拼接后的整幅图像，以实现广域成像。 

美国国防部先进项目研究局（DARPA）和BAE系统公司联合研制的自主实时地面广域侦察成像系统[3](ARGUS-IS)如图3所示，368个500万像素的数字成像芯片安装在4个独立的相机里，4个镜头分别对应一个焦平面阵列，92个CMOS呈棋盘状分布，四个焦平面阵列相互交错，通过图像拼接技术将子图像拼接为无缝隙的全幅图像，其成像清晰度足以保证从6500 m的高空识别并追踪车辆和步行者，地面分辨率0.15 m，瞬时视场角达到23 μrad，能同时追踪至少65个目标。

图3  ARGUS-IS成像系统及全视场图像[3]

多尺度成像系统

多尺度成像系统是指通过大尺度主光学系统收集光能，多级小尺度光学系统进行转接成像，通过将大尺度主光学系统与多个小尺度光学系统进行级联并结合图像拼接技术实现广域高分辨率成像的一种方式。

2019年，西安电子科技大学邵晓鹏团队研制基于共心球透镜的多尺度广域高分辨率计算光学成像系统样机一台[4]，成像视场120°×90°，分辨率5cm@5 km，总像素数高达32亿，可对5km范围内的目标实现高清晰度、无畸变成像，实时成像效果良好，系统适应性强，其样机实物与成像效果如图4所示。

图4 多尺度计算光学成像系统及成像效果图[4]

多镜头拼接系统

多镜头拼接系统将多个小相机按一定规则进行排列，结合后期计算成像技术获取广域高分辨率图像。

2014年北卡罗莱纳大学Nicholas等人设计了一种新型地基天文望远镜，24个口径为61 mm的小型望远镜排布在半球形穹顶上，结合后期图像拼接技术像素数高达6.91亿，可对384平方度的区域成像，可探测星等为16等，其实物与成像效果分别如图5、图6所示。

图5 Evryscope系统图和剖面图

 图6 Evryscope系统全视场图像及局部细节图

未来展望

广域高分辨率计算光学成像系统因成像范围广、成像性能突出等优势在航空侦察、生态监控、社会活动支持等方面发挥巨大的作用。随着人们对光电成像技术的不断研究，光电成像设备也相应有了更高的要求。未来，从计算成像全链路角度出发，综合考虑光学系统、探测器、数字图像处理算法等方面实现高动态范围实时成像仍然是其发展的主要方向。

​

计算成像技术（CIT）就是在传统“所见即所得”的光学成像方法上增加了“计算”的过程，即通过建立目标场景与观测图像之间的变化获调制模型，然后利用不同的计算方法重建获增强成像的过程，这种技术可以突破传统光学成像技术的种种限制，有助于促进成像设备的高性能化、微型化和智能化。

计算成像系统的基本构成

不同于传统光电成像技术的分立式表征，计算成像系统是将照明模块、传输模块、光学系统模块、探测器模块和显示模块等进行一体化的表征，系统的以全局角度对成像系统进行设计与优化，如图1所示为计算成像的全局链路图，它是以问题为导向并对光源、传输介质等进行相应的计算处理完成预期目标的成像系统，突破了传统成像技术难以解决的问题，并使得超衍射成像、无透镜成像、大视场高分辨率成像及透过散射介质清晰成像等成为可能，为成像领域带来了全新的突破。

图1 计算成像全局链路图

计算成像技术示例

01

散射成像技术

当光学系统在实际应用时，光波并不是在理想环境中进行传播，而是在云雾、灰尘、生物组织、烟尘和悬浊液等复杂环境中进行传播，这些散射介质不仅会将入射的光波打散使其向不同方向散射，还会改变入射光波的强度、相干性和偏振等特性，在很大程度上降低了成像质量，因此如何在散射介质中实现高分辨率成像是光学系统中亟需解决的问题。

基于波前整形的散射成像技术

散射介质中的光在传播过程中会受到多次未知散射的干扰，使得光在介质中的传输量化面临着巨大的挑战，但有研究表明散射介质中入射波和出射波存在确定性的关系，并在静止状态下保持不变。因此当已知散射介质的传输特性（其分布和轨迹一般用散射矩阵描述）时，就可以根据入射波前直接计算散射场信息，反之也可以通过目标散射场信息对入射波前进行整形，从而实现任意位置的聚焦和成像等功能。

目前实现波前整形散射成像技术最为常见的是基于反馈信号的波前整形，该方法是由荷兰特温特大学的Vellekoop等人在2007年提出的，如图2所示，正常情况下，入射光束通过散射介质时会使各个位置的相位呈随机分布，从而导致出射光束呈混乱的散斑图案；Vellekoop等人首先通过计算得出入射光场和出射光场的线性关系，随后根据计算结果并通过空间光调制器逐点对入射光场波前进行调控，从而在散射介质后形成焦点。

这一研究成功打破了散射成像一直以来的瓶颈，也进一步提高了波前整形技术在生物组织深层显微镜、内窥镜和超分辨成像等领域的应用潜力。

图2 （a）平面波散射成像示意图；（b）基于波前整形的散射成像示意图

虽然基于波前整形的散射成像技术可以实现透过散射介质或者在散射介质内部重聚焦和成像，但仍旧存在数据测量较多、耗时较长和需要参考源等缺点，在一定程度上增加了其复杂性和成本。

基于光学记忆效应的散射成像技术

在波前整形技术发展的同时，相关研究人员也一直在寻找其他散射成像的技术和方法。2012年，荷兰特温特大学的J.Bertolotti等人提出了一种突破性的散射成像方法——基于光学记忆效应（OME）的散射成像技术。

该方法将光源与相机放在散射介质的同侧，而所制备的荧光样本放置在另一侧且被完全遮挡，随后通过扫描光源、多次测量和计算重建散斑便可以非侵入式的恢复隐藏样本的信息，这种方法不需要测量光场分布，仅通过接受到的强度散斑便可实现目标的重建，如图3所示。

图3 基于光学记忆效应的散射成像技术实验示意图及实验结果

02

偏振成像技术

偏振是光的本质属性之一，表征了光在传播方向上的振动情况，基于菲涅耳理论偏振可以反映物体表面特征，并且可以用于物体表面建模、形状恢复、抗干扰目标检测和反射率分析。且经研究与实践证明，利用偏振特性能够有效地在散射介质中解决图像退化问题，恢复图像，改善图像质量。

偏振成像技术通常是通过拍摄多幅经不同检偏器调制后的强度图像，再进行偏振信息提取实现的，按照偏振图像提取方式的不同，可以将其分为分时偏振成像系统和同时偏振成像系统。

分时偏振成像系统

分时偏振成像是指通过旋转偏振器件改变偏振角度，1次成像采集1幅偏振图像，旋转多次完成偏振图像的获取的一种方式。根据多幅（常为3幅或4幅）偏振图像来计算出四个Stokes参数。这种成像系统结构简单，但误差较大、成像质量较差，不适用于序列图像和变换的场景。

同时偏振成像系统

同时偏振成像系统，顾名思义就是可以同时获取Stokes的四个偏振参数，主要有振幅分光成像装置、孔径分光成像装置和焦平面分光成像装置，这种成像系统精度高、稳定性强，但结构相对复杂、工艺要求和成本较高。

偏振成像技术是一种新型的计算成像技术，与平时所采用的光强度成像方式相比，在抑制背景噪声、提高探测距离、获取细节特征以及目标伪装识别等方面具有绝对的优势，具有非常广泛的应用，例如探测隐藏/伪装目标、水下目标探测与识别、烟雾气候环境下的导航等一系列工业、医疗和科研领域的应用。

图4 （左）海康威视的偏振相机示意图；（右）索尼偏振光传感器

03

光子计数成像技术

在光强正常的情况下，可以把光当作模拟量进行探测，但在光强非常弱的情况下，却无法进行类似的探测，需要通过微光像增强技术进行探测，而光子计数成像技术便是其中较为有效的方法之一。

当光强正常时，入射光束可以看作是大量光子组成的光子流，并通过光电探测器对叠加的光子统一进行探测，这种探测方式也称为模拟方式；而当入射光功率逐渐减弱时，光电子脉冲的叠加也逐渐减小为不连续状态、分离状态、随机分布状态直至单光子状态，此时便需要光子探测器对分离的光子或者单光子进行探测并确定其空间位置，即进行二维光子计数探测，这种方法便是光子计数成像的基础。

图5 基于光子计数成像技术的激光扫描显微镜系统（该产品由Becker and Hickl GmbH制造）

利用光子成像技术可以解决传统光学系统无法对微弱光信号成像的问题，可以广泛应用于军事和科研的众多领域，如卫星侦察、天文观测仪、导弹预警跟踪系统等。

04

仿生光学成像技术

随着探测器和计算机科学的发展，传统光学系统在自动化、图像识别、精密探测等领域的表现不尽人意，且受衍射极限等因素的影响，实现小型化越来越难。为了提升光学系统的信息容量，在昆虫复眼的启发下，人们提出了仿生复眼成像系统。

仿生复眼成像系统，顾名思义跟昆虫复眼类似，是由多孔径、多结构或者多尺寸的小透镜阵列拼接的平面或者曲面透镜系统，其分辨能力与小复眼透镜数量成正比，为克服大视场成像和高分辨率成像之间的矛盾提供了行之有效的方法。目前已经将仿生复眼的研究结果广泛应用于夜视设备、微型复眼相机、雷达系统和微型飞行器等领域中，如图6所示。

图6 Mantis螳螂系列监控相机及其实时监控场景

总 结

传统光电成像是在工业化时代发展起来的，随着工业化基础的积累，依然出现了瓶颈问题，随着信息化时代的来临，更强的计算能力、新材料、量子理论等新方法的涌现为光电成像带来更广阔的空间。

计算成像正是集光学、电子学、计算方法、信息处理于一体的交叉学科，是在传统技术上的融合创新。在光学成像方面中，可以通过利用数理模型和相应算法描述或者改变成像过程，对成像结果进行优化或重构；在系统工程方面，可以基于不同的成像原理，对传统光学系统进行灵活设计，而且可以通过改变成像方式进行设计优化。

总之，该方法可以在计算能力、新材料和量子理论等新方法的基础上对传统光学技术进行更新和突破，必将大幅度推动现有的成像体制发展，在理论和应用上获得重大创新。

​

激光出现以后，相干光照明成像是一重要应用研究领域。顾德门教授[1]以单透镜成像系统为研究对象，基于线性系统理论及成像系统脉冲响应的近似，导出物体尺寸小于透镜直径1/4时可以计算像光场振幅分布的公式，并且，基于瑞利的成像理论，将透镜光瞳视为系统的出射光瞳，将像距视为出射光瞳到像平面的距离，公式被推广于多个元件构成的光学系统成像计算[1]。50多年来，该理论被国内外信息光学专著及教材广泛引用。然而，在相干光成像的应用研究中，像光场的振幅和相位通常是同等重要的物理量，建立准确的相干光照明成像理论逐渐成为必须解决的问题。

文献[2]推导出由2×2光学矩阵描述的成像系统像光场复振幅的计算公式，但公式的实验证明是采用单透镜构成的成像系统完成的[2]，尚未给出多元件构成的成像系统的研究实例。文献[1]给出的像光场振幅分布计算公式虽然理论上可以推广于多个元件构成的成像系统，但也未看到这种推广的计算研究。

为此，昆明理工大学李俊昌教授研究团队对两种公式的计算方法进行了研究。对于任意给定的由2×2光学矩阵描述的成像系统，论文导出出射光瞳及出射光瞳到像平面距离的计算方法，并且，以两个透镜组成的成像系统为例，在不同空间位置放置孔径光阑，进行两种计算公式理论计算与实验测量的比较。研究结果表明，所导出的公式不受入射或出射光瞳尺寸的影响，能更准确地进行相干光成像计算。

实验研究

图1所示透镜L1及L2构成的成像系统为理论模拟及实验研究实例。

图1 双透镜系统相干光成像实验

图中，用不透明的黑色有机玻璃板上刻出中文“光”字透光孔为物平面，照明物平面的是波长λ =633 nm的氦氖激光。激光经扩束和准直后成为沿光轴传播的平面波，放置在像平面的CCD探测器记录下像光场的强度分布。在实验研究中不同位置放置直径甚小于透镜孔径的圆孔光阑，同时用（1）式及（2）式计算像光场，并与实验测量进行比较。

实验系统的相关参数为：透镜L1的焦距f1=300 mm（孔径75 mm），透镜L2的焦距f2=157 mm（孔径30 mm），CCD的像素宽度dc=0.0052 mm（像素数量1024×1280），d0=328 mm，d1=435 mm。实验时用直径Dh=3.3 mm的圆孔光阑分别放在P1、P2、P3及P4位置（dp1=140 mm，dp2=150 mm，dp3=135  mm，dp4=55 mm，图1是圆孔光阑放在P1位置时的示意图）。

研究结果

图2~图5给出孔径光阑分别放在P1、P2、P3及P4位置时的像平面光波场强度数值模拟与实验测量的比较。

图2 孔径光阑放置在P1位置时实验测量与理论模拟的比较。（a）CCD探测图像；（b）公式1理论模拟；（c）公式2理论模拟

图3 孔径光阑放置在P2位置时实验测量与理论模拟的比较。（a）CCD探测图像；（b）公式1理论模拟；（c）公式2理论模拟

图4 孔径光阑放置在P3位置时实验测量与理论模拟的比较。（a）CCD探测图像；（b）公式1理论模拟；（c）公式2理论模拟

图5 孔径光阑放置在P4位置时实验测量与理论模拟的比较。（a）CCD探测图像；（b）公式1理论模拟；（c）公式2理论模拟

分析与讨论 

可以看出，式1的理论计算与实验测量吻合较好，只有在位置P3时（2）式的理论模拟才与实验测量相吻合。究其原因，是以上实验多数不满足物体尺寸小于入射光瞳1/4才能使用式2进行计算的条件[1]，该使用条件在像空间的等价表述是：几何光学规定的物体像的尺寸必须小于出射光瞳直径的1/4。本实验中，将物体按照几何光学近似成像到像空间后，物体像的宽度约5 mm，在位置P3时出射光瞳直径为23.6 mm，满足使用公式2的条件。

应该指出，顾德门教授在推导公式2时，对单透镜成像系统的脉冲响应进行了简化及近似[1]，导出的计算公式只能在特定的近似条件下计算像光场振幅分布。然而，相干光成像的像光场的振幅及相位分布在光学精密检测中通常是同等重要的物理量，公式1能为定量研究提供方便。

目前，非相干光成像的理论研究使用到相干光成像系统的脉冲响应[1]，推导公式（1）时没有对脉冲响应作任何近似[2]，若使用没有近似的复杂表达式进行研究，是否会对非相干光成像的理论研究结论产生影响，是需要进一步研究的课题。文献[2]对单色非相干光成像理论进行了研究，结果表明，对目前单色非相干光成像的理论不会产生影响。

总结与展望

相干光成像的像光场的振幅及相位分布在光学精密检测中通常是同等重要的物理量，公式1能为定量研究提供方便。然而，该公式是矩阵光学与菲涅耳衍射近似相结合导出的[2]，为更准确地描述相干光成像，必须采用无傍轴近似的理论。此外，基于流行的近似计算公式2，出射光瞳定义的传递函数为理想像频谱的低通滤波器[1]，然而，按照公式1，出射光瞳定义的传递函数的物理意义相似于理想像经过特定距离衍射的空间滤波器[3]。如何从理论上定量研究出射光瞳对成像质量的影响，将是科技工作者再深入研究的问题。