iCAM06: A refined image appearance model for HDR image rendering

Abstract

一种名为 iCAM06 的新图像外观模型是为高动态范围 (HDR) 图像渲染而开发的。 该模型基于 iCAM 框架，结合了人类视觉系统中用于增强对比度的空间处理模型、增强高光和阴影局部细节的光感受器光适应功能以及预测各种颜色外观现象的功能。 模型的评估证明 iCAM06 在偏好度和准确性方面均具有一贯良好的 HDR 渲染性能，使 iCAM06 成为通用色调映射算子的良好候选者，并在广泛的图像外观研究和实践中具有进一步的潜在应用。

1. Introduction

色彩外观模型已应用于跨媒体色彩再现框架； 然而，它们的范围有限，并且不是为预测复杂的空间变化刺激（例如图像或视频）的视觉外观而设计的。 图像外观模型扩展了颜色外观模型，以合并空间和时间视觉的属性，从而可以预测复杂刺激的外观。 给定图像和观看条件的输入，图像外观模型可以提供每个像素的感知属性，不仅限于传统的颜色外观相关性，例如亮度、色度和色调，还包括那些图像属性，例如对比度和清晰度。 逆模型还可以考虑输出观看条件，从而生成彩色图像再现所需的输出感知效果。

空间颜色外观模型，例如S-CIELAB [1]，首先通过结合空间滤波来测量两个图像之间的差异而提出，扩展了传统色差方程在测量复杂刺激之间的感知差异方面的应用。 过滤计算取决于观看距离，并且通常源自人类对比敏感度函数。 对于空间视觉和颜色外观预测，空间过滤有时会针对各种空间频率和方向分解为多个通道，例如多尺度观察者模型（MOM）[2]。 最近的结果表明，虽然这种多尺度过滤对于某些阈值度量可能至关重要，但对于图像属性和感知图像差异的超阈值预测通常没有必要。 因此，提出了图像颜色外观模型（iCAM）[3-5]，通过采用单尺度空间滤波来保持简单性和易用性。

高动态范围（HDR）成像在过去二十年一直是一个活跃的研究领域。 在现实场景中，人们可能会遇到高光和阴影之间的大范围亮度（最多 9 个对数单位）。 成像技术已经进步，现在可以捕获和存储如此广泛的动态范围，但普通桌面显示器和硬拷贝打印的输出限制并没有跟随同样的进步。 HDR 渲染算法也称为色调映射算子 (TMO)，旨在缩放现实世界中存在的大范围亮度信息，以便将其显示在只能生成大量亮度信息的设备上。 较低的动态范围。 这些算法的目标根据其具体应用而有很大差异。 例如，算法被设计为在医学成像中提供最大量的细节信息，这对于检查医学 MR 图像的放射科医生来说可能是理想的。 在数码摄影中，目标可能包括但当然不限于生成令人愉悦或首选的图像、再现原始图像和显示图像之间的整体外观、保持场景中对象之间的对比度关系、保持原始摄影师的意图以及预测 场景中特定对象的可见性。 由于图像外观模型试图预测对空间复杂刺激的感知响应，因此它们可以为预测 HDR 图像的外观提供独特的框架。 在不改变其总体框架的情况下，iCAM已扩展到HDR图像渲染的应用[6]。

最近的色调映射算子评估结果[7]表明iCAM在HDR图像渲染中是有效的； 然而，iCAM 的性能不如其他一些算子，例如双边滤波器 [8]，它结合了高效的各向异性滤波器和简单的色调压缩策略。 即使对于 iCAM 最适用的再现精度评估，也发现与原始场景相比，iCAM 的渲染包含较少的局部对比度和色彩。 这通过结合以前的色调映射算子的属性，进一步改进了 iCAM 在 HDR 图像渲染应用中的性能。

下一代图像外观模型，指定为 iCAM06，是为 HDR 图像渲染应用程序开发的[9-11]。 几个模块继承自iCAM框架，例如局部白点适应、色度适应和IPT统一色彩空间。 iCAM06 中实现了许多改进，其动机是更好的算法，能够提供更令人愉悦和更准确的 HDR 渲染，甚至更先进的感知模型可用于更广泛的图像外观预测。 考虑并最终以某种形式纳入 iCAM06 的修改包括：

• 将iCAM 中的单尺度高斯滤波替换为使用边缘保留双边滤波器和双图像处理框架的两层图像分解；

• 将iCAM 中简单的非线性局部伽马校正替换为先前色彩外观研究中的感光器响应函数；

• 通过暗视和明视信号的结合，扩展到大范围的亮度水平；

• 纳入了亮度相关的局部对比度增强模块，可模拟史蒂文斯效应所建议的对比度变化

• 集成了亮度相关的局部色彩增强模块，可模拟亨特效应预测的色彩变化；

• 纳入了与环绕亮度相关的校正模块，该模块可解释 Bartleson-Breneman 环绕效果预测的感知伽玛变化

在本节作为本研究的介绍之后，第 2 节描述了用于 HDR 图像渲染应用的 iCAM06 模型的实现。 第 3 节介绍了 iCAM06 与之前的色调映射算子的测试结果，第 4 节给出了结论性意见。

2. Framework of the iCAM06 model

iCAM06 模型的目标是在大范围的亮度水平下准确预测复杂图像的人类视觉属性，从而跨媒体再现相同的视觉感知。 iCAM06 用于 HDR 图像渲染的总体流程图如图 1 所示。请注意，虽然本节中描述的 iCAM06 框架重点关注 HDR 图像渲染，但可以针对多种情况专门调整参数或模块，包括但不限于： 不限于，空间视觉现象预测[11]和图像差异计算。

2.1. Input data

iCAM06 模型的输入数据是刺激图像或场景的 CIE 三刺激值 (XYZ)，以绝对亮度单位表示。 图像数据的绝对亮度 Y 对于预测各种与亮度相关的现象（例如亨特效应和史蒂文斯效应）是必要的。 HDR 图像输入通常是与绝对亮度成线性关系的浮点 RGB 图像。 理想情况下，RGB 编码图像可以通过特定的相机特征转换为 CIE 1931 XYZ 三刺激值。 然而，相机特征通常不包含在图像文件中。 使用 sRGB 颜色空间 [12] 变换矩阵的示例变换如等式 1 所示。 (1).

2.2. Image decomposition

一旦输入图像处于与设备无关的坐标中，图像就会分解为仅包含大规模变化的基础层和细节层。 色彩适应和音调压缩处理模块仅应用于基础层，因此保留图像中的细节。 两尺度分解的动机是人类视觉中两个广泛接受的假设：（1）图像被视为反射率和照明的乘积，而人类视觉主要对反射率而不是照明条件敏感； （2）人类视觉主要对局部对比度而不是全局对比度做出反应。 这两个假设实际上密切相关，因为局部对比度在某种程度上与图像中的反射率一致。 人类视觉系统对全局亮度对比度不敏感，这一事实使得压缩全局动态范围并保留 HDR 场景中的局部细节的解决方案能够在最大绝对亮度输出显着降低的 LDR 显示器上再现相同的感知外观 。

基础层是使用称为双边滤波器的边缘保留滤波器获得的，该滤波器先前由 Durand 和 Dorsey 提出[8]。 双边滤波器是一种非线性滤波器，其中每个像素由空间域中的高斯滤波和强度域中的另一个高斯滤波的乘积进行加权，该滤波降低了强度差异较大的像素的权重。 因此，双边滤波器有效地模糊了图像，同时保持锐利边缘完整，从而避免了局部色调映射算子常见的“光晕”伪影。 像素强度计算在对数域中执行，因为像素差异直接对应于感知对比度，并且还因为它对整个图像产生更均匀的处理。 像素 s 的双边滤波器的输出表示为等式： （2）和（3）：

f(·) 是空间域中的高斯函数，其核尺度  设置为图像大小 2% 的经验值，而 g(·) 是强度域中的另一个高斯函数，其尺度  设置为常数值 0.35 [8]。 Is 是像素 s 的强度值，它主要受空间上接近且具有相似强度的像素的影响。 iCAM06 中使用分段线性近似和最近邻下采样 [8] 来加速双边滤波。

然后通过从原始图像中减去基础层图像来获得细节层。 然后这两层都被变换回线性域以进行后续处理。

2.3. Chromatic adaptation

首先通过色彩适应对基础层图像进行处理。 iCAM 中嵌入的色彩适应变换最初来自 CIECAM02 [13]，已在 iCAM06 模型中采用。 它是通过从每个像素位置 (RwGwBw) 处的高斯低通自适应图像导出的 RGB 自适应白色图像信号对光谱锐化 RGB 图像信号进行线性 von Kries 归一化。 低通图像中的模糊量由滤波器 r 的半宽度控制，建议设置为背景半径 5 度[14]。 对于 HDR 图像渲染应用来说，观看条件的特征通常是未知的； 因此，一个简化的假设可以是根据图像本身的大小来指定滤波器的宽度。 图像较小尺寸的一半在我们的实验中始终表现良好，并在 iCAM06 实现中使用。 变换的计算在等式(4)-(8)中给出。 

该变换首先使用 CIECAM02 [13] 公式中的变换矩阵 MCAT02 从 CIE XYZ 图像转换为光谱锐化 RGB 图像。 不完全自适应因子 D 被计算为自适应亮度 LA（自适应白色的 20%）和环绕因子 F（平均环​​绕中 F= 1）的函数。 理论上，该值的范围是从没有适应的 0 到完全适应的 1，实际上，对于黑暗环境，最小值不会小于 0.65，并且随着 LA 值的增加，指数收敛到 1。 请注意，iCAM06 中的 D 因子计算应用了 0.3 的比例因子，以减少 HDR 图像渲染的颜色去饱和度。 色适应变换还将全局白点转换为 CIE 光源 D65，并在稍后阶段用于 IPT 色彩空间，因为 IPT 色彩空间是在 D65 中定义的 [15]。

2.4. Tone compression

iCAM06 模型扩展到从低暗视觉到明视觉漂白级别的亮度级别。 适应后非线性压缩是对感光器响应（包括视锥细胞和视杆细胞）的模拟。 因此，iCAM06中的音调压缩输出是锥体响应和杆体响应的组合。

CIECAM02 后适应模型在 iCAM06 中被采用作为视锥细胞响应预测，因为它经过充分研究和建立，可以对所有可用的视觉数据进行良好的预测。 首先使用 CIECAM02 公式将色彩适应的 RGB 响应从 CAT02 空间转换为 Hunt-Pointer-Estevez 基本原理，如等式 （9） 所示。 

非线性音调压缩函数，如方程 (10)-(14) 的形式所示，与 CIECAM02 中的类似，但将功率值稍微修改为用户可控变量 p，这说明了图 2 中响应曲线的陡度。 p 值可以是 设置在 0.6–0.85 范围内，其中较大的值会在渲染图像输出中生成较高的整体对比度。 根据试点参数设置实验，默认值被设置为 0.75。 该函数基于广义 Michaelis-Menten 方程 [16]，与 Valeton 和 van Norren 的实验数据一致 [17]。 Hunt [18] 讨论了该方程的细节和优点。

FL 函数，如方程式(13) 和 (14) 所示，用于预测 CIECAM02 和早期模型中的各种与亮度相关的外观效果。 然而，iCAM06 中 FL 因子的计算与之前的颜色外观模型中的计算有很大不同，因为它是从每个像素位置的低通自适应图像导出的，因此在 iCAM06 中存在空间变化。 Yw 是局部适应白色图像的亮度。 图像尺寸较短尺寸的 1/3 的滤波器尺寸对于我们的实验图像效果很好，但再次强调，这是基于观看条件的假设。 对于异常大或小的图像，可能需要更改此参数。 有关参数如何影响渲染结果的更多讨论可以在之前的出版物 [6] 中找到。

杆的响应函数改编自 Hunt 模型 [19] 中使用的响应函数。 非线性响应函数被认为与方程式 (10)-(13)中锥体的非线性响应函数相同。适应后的杆响应 As 在方程式中 (15)–(19)给出。

这里，S是色度适应图像（即Y图像）中每个像素的亮度，Sw是参考白色的S值。 通过将 Sw 从局部适应白点图像的最大值设置为全局尺度，杆响应输出将根据场景的一般亮度感知自动调整。 例如，与这种情况下的视锥细胞响应相比，明亮场景的视杆细胞响应变得非常小。 LAS 是暗视亮度，BS 是杆色素漂白或饱和度因子，FLS 是暗视亮度水平适应因子。 这些项的计算（方程（16）-（19））忠实于原始的亨特模型，更多细节由亨特[19]审查。 棒的响应函数如图 3 所示。

最终的音调压缩响应是锥体响应和杆响应的总和，如等式（20）所示。

2.5. IPT transformation

模型的下一阶段是将色调压缩的 RGB 信号转换回 CIE XYZ 图像，并将其与细节层图像组合。 然后将色调映射图像转换为 IPT 统一对手色彩空间，其中 I 是亮度通道，P 大致类似于红绿通道，T 是蓝黄通道。

对立的颜色维度和图像属性，如亮度、色调和色度，可以从IPT基础中导出，用于图像差异和图像质量预测。对于HDR图像渲染应用来说，IPT的感知均匀性也是实现所需图像属性调整而不影响其他属性的必要条件。首先将XYZ单元转换为LMS锥响应，然后进行非线性幂函数压缩，然后转换为IPT单元。变换用方程(21) -(23)[15]表示。

2.6. Image attribute adjustments

在iCAM06中实现了三种图像属性调整，有效预测图像外观效果。在细节层处理中，应用细节调整来预测史蒂文斯效应，即亮度水平的增加会导致局部感知对比度的增加。具体调整如式(24)所示。

幂函数调整是亮度依赖于纳入指数FL因素。指数函数在图4中针对FL绘制。指数随FL函数单调递增。

在IPT色彩空间中，P和T被增强以预测亨特效应，这预测了亮度水平的增加导致感知色彩增加的现象。调整后的P和T是FL因子和色度值的函数，如式(25)和(26)所示。各自的响应函数绘制在图5中。这两个函数都是单调递增的，表明低色度和低亮度的颜色比其他颜色更能保留色彩。由于自然物体通常具有低色度，因此这种增强保留了这些物体的自然外观。

当图像周围从暗到暗再到亮时，感知到的图像对比度增加。这种效应是用指数分别为1,1.25和1.5的幂函数来预测的，暗的，暗的和平均的环境，分别为[19]。为了补偿这些变化，将幂函数应用于IPT空间中的I通道，其指数顺序相反(Eq.(27))。

2.7. Image output

为了在输出设备上显示渲染图像，首先将 IPT 图像转换回 CIE XYZ 图像，然后使用等式 10 进行反向色彩适应变换，从 D65 到输出媒体白点。 再次（4）-（8）。 然后使用逆输出表征模型将 XYZ 值转换为线性设备相关 RGB 值。 (1). 对图像数据的第 1 个和第 99 个百分位 [6] 进行经验裁剪，以在显示之前去除任何极暗或极亮的像素，以改善最终渲染。 通过考虑设备非线性并将图像缩放到 0 到 255 之间，可以输出最终图像。

3. Testing the iCAM06 model

3.1. Experiment overview

当提出一种新算法时，有必要使用值得信赖的方法来评估其与其他先前性能良好的算法的性能比较[7]。 在本章中，我们测试了 iCAM06 模型再现真实世界场景的感知准确性以及对各种 HDR 图像的渲染偏好。

在这个实验中，使用了之前心理物理测试实验中最成功的四个色调映射算子 [7]、双边滤波器 [8]、摄影再现 [20]、iCAM [6] 和直方图均衡化 [21]，以及两个 Photoshop CS2 HDR 转换方法、曝光和伽玛、局部适应以及 iCAM06 由 23 名具有正常色觉的观察者进行评估。 通过在本次评估中结合Photoshop工具，新算法的性能可以与一般研究人员更熟悉的商业软件的性能进行比较。 由于这些工具需要手动调整一些自由参数，因此输出的渲染图像是作者根据图像偏好在相同实验条件下在Photoshop CS2中精心调整的最佳结果。 实验和结果的细节将在下面讨论。

3.2. Experimental design

心理物理实验设计采用配对比较的方法。 实验设置与之前的测试实验相同[7]。 渲染结果显示在具有比色特性的 23 英寸 Apple Cinema HD LCD 显示屏上，最大亮度为 180 cd/m2，灰色背景的亮度为适应白点的 20%。

在不观看原始场景的情况下，观察者首先面临的任务是根据对图像质量的总体印象（例如对比度、色彩、图像清晰度和整体自然外观等）选择他们喜欢的两个同时显示的图像中的哪一个。 本部分共包含252对比较（12张测试图像的7种算法（图6）），大约需要30分钟才能完成。

然后，观察者被要求评估整体渲染精度，将渲染图像的整体外观与其相应的真实世界场景（图 6 中的最后四张图像）进行比较，这些场景分别设置在相邻的房间中以避免交互。 由于显示器和物理场景的白点和亮度范围非常不同，观察者必须对现实世界场景和 LCD 显示器有至少 30 秒的适应时间。 观察者被允许根据他们的记忆一次性完成7对比较，然后他们有义务再次观看原始场景，尽管他们可以在他们认为有必要的任何时候返回观看场景。 通过强制重复观看原始场景，旨在确保观察者根据渲染精度而不是自己的偏好做出判断。 本部分共有 84 个比较（7 个算法和 4 个场景），大约需要 20 分钟才能完成。 有关实验方法和场景统计的更多详细信息可以在之前的出版物中找到[7]。

3.3. Results for image preference evaluation

可以看出，iCAM06 的渲染图像具有更自然的色彩和对比度，因此更忠实于现实世界场景，比其他 HDR 渲染算法更优。 与 iCAM 模型相比，iCAM06 的输出具有更多的色彩和局部对比度。 图7所示的偏好分数是对所有测试HDR图像进行的整体配对比较评估的平均分数。 区间尺度以及 95% 置信限是使用瑟斯顿比较判断定律（案例 V）生成的。每种算法均按平均分值的顺序沿纵坐标显示。 可以看出，新算法 iCAM06 的性能明显优于其他算法。 之前测试的四个色调映射算子与之前的结果[7]具有相同的偏好分数顺序，但分数明显低于 iCAM06。 两种 Photoshop 方法位于偏好量表的中间，偏好分数低于 iCAM06 和双边滤波器的偏好分数。

各个测试图像获得的结果如图 10 和 12 所示。 如图 8 和 9 所示。结果表明 iCAM06 在所有测试图像中都具有良好的均匀性能，大部分在算法组中名列前茅。 与大多数测试图像的性能不如大多数其他算法的 iCAM 相比，iCAM06 得到了显着改进。 其他算法不会像 iCAM06 那样在所有测试图像上表现出如此的同质性。

3.4. Results for evaluation of accuracy using real-world scenes

图 10 显示了四个测试场景的平均总体准确度得分。 这些结果表明算法再现相应物理场景外观的效果如何。 总体结果显示，iCAM06 排名第一，但并没有明显优于其他两种 Photoshop 方法。 这组算法比其他算法有明显更好的性能。

各个场景的结果如图 11 和 12 所示，提供了对渲染精度性能的更多见解。 测试算法分为三种：iCAM06 和两种 Photoshop 方法在测试图像上的得分均为正，照相再现和直方图调整的得分均为负，双边滤波器和 iCAM 不具有与其他算法相同的同质性。 在第一组中，iCAM06 在三个测试场景中排名第一，表现优于或显着优于 Photoshop 局部适应以及曝光和伽马方法。 对于场景窗口，Photoshop本地适配的准确度分数远高于iCAM06，在平均分数上大致持平。

4. Conclusion

本文提出了一种新的图像外观模型 iCAM06，它将之前的模型 iCAM 扩展到从低暗视到高亮度明视级别的大亮度级别。 该模型在双处理框架中结合了边缘保留空间过滤和人类视觉感光器响应函数。 新模型的目标是预测复杂场景的图像属性，生成与观看者站在真实环境中时的感知非常相似的图像。

iCAM06 的 HDR 图像渲染性能在心理物理学实验框架中使用大量测试图像进​​行了测试。 偏好结果表明，iCAM06较iCAM有了显着改进，表现明显优于其他测试算法，包括之前的最佳算子、双边滤波器。 通过将渲染图像与四个真实场景进行比较来评估准确性性能。 iCAM06型号在所有测试算子中排名第一。 尽管 iCAM06 的准确度分数与 Photoshop 的手动调整方法相近，但它的性能明显优于其他色调映射运算符。 在偏好和准确性方面均具有良好的性能一致性，使 iCAM06 成为通用色调映射算子的良好候选者。 iCAM06模型的实验结果和Matlab代码可在http://www.cis.rit.edu/mcsl/icam06/公开获取。