《基于 LIME 的低照度图像处理》开题报告
目录
一、研究目的和意义
1.研究目的
2.研究意义
二、国内外研究现状和发展趋势
三、研究内容、研究方法及可行性分析
1、研究内容
2、研究方法
3、可行性分析
四、项目特色与创新点
1、面向特定应用场景的针对性研究
1.多算法比较与选择的严谨性
2.基于硬件平台的深度优化
五、进度安排
六、主要参考文献
一、研究目的和意义
1.研究目的
随着电子信息技术的迅猛发展，视频监控与图像采集设备在科研、工业以及生活中的应用愈发广泛。在众多应用场景里，低照度环境下的图像采集需求不断攀升，低照度图像是指由于拍摄环境光照不足而导致整体亮度低，对比度差并伴有较高噪声的图像类型，这种图像广泛应用于夜间监控、智能交通、工业检测和消费电子等领域。然而低照度条件下，图像普遍存在亮度不足、细节缺失、噪声干扰严重等问题，极大影响了视觉感知效果和后续计算机视觉任务的性能，例如目标检测、图像识别与跟踪等任务可能因图像模糊而出现误判或漏判。现有研究提出了多种低照度图像增强的方法，例如基于Retinex理论的传统算法和基于生成对抗网络的深度学习模型。其中LIME算法通过精确估算照明图，在提升图像亮度、对比度和细节保留方面展现出良好性能。然而这些方法在嵌入式设备上的实时性和计算效率仍存在局限，对资源受限的硬件平台提出了更高要求。
2.研究意义
基于LIME算法结合ARM NEON指令集的并行计算能力，提出一种高效的低照度处理方法。通过对照明图估算、反射图计算等关键步骤进行硬件加速优化，不仅可以显著提升图像的视觉质量和细节清晰度，还能有效降低噪声，使其适用于夜间监控、自动驾驶等场景。同时，NEON 指令集的引入充分挖掘了硬件性能，提升了算法的处理效率，满足实时处理需求。本研究成果将为低照度图像处理技术在资源受限环境中的应用提供新思路，并推动其在安防监控、智能交通及工业检测领域的广泛应用。
二、国内外研究现状和发展趋势
低照度图像处理技术的发展历程可以分为三个阶段：传统模型构建、深度学习应用和硬件优化实现。国外研究起步较早，从理论构建到实际应用经历了多个重要节点。20世纪70年代，Land 和 McCann 提出了著名的 Retinex理论，通过分离图像的反射图和光照图来模拟人类视觉适应低光照环境的机制。这一理论奠定了低照度图像增强技术的理论基础。2017年，Guo等人提出的 LIME算法是Retinex 理论的经典改进，能够通过精确估算照明图显著提升图像亮度和对比度，成为低照度图像增强领域的重要基线算法。随着深度学习技术的迅速发展，国外学者进一步推动了低照度图像处理的性能提升。2018年，Chen等人开发了See-in-the-dark（SID）数据集，并提出卷积神经网络（CNN）的端到端弱光图像增强模型，该模型直接在RAW数据上进行处理，能够还原极低光场景下的细节。近年来，深度学习与物理模型的结合成为新的研究方向。2022年Wu等人提出的URetinex-Net模型通过深层展开网络将Retinex理论与深度学习结合，实现了自然感更强的低光图像增强。此外国外还开发了多个公开数据集，为算法性能的客观评估提供了统一基准。
国内研究近年来在算法和应用方面取得了快速进展，尤其在面向具体场景的应用技术上表现突出。早期研究以传统方法为主，中北大学提出的微光与红外成像融合技术，为极低照度环境下的目标识别提供了有效解决方案。随着深度学习兴起，国内学者逐步优化了Retinex理论的实现方式。浙江大学改进了Retinex的细节保留与降噪性能，使其在复杂光照环境下具有更强的鲁棒性。与此同时，国内企业也逐渐将研究成果转化为实际产品。在硬件加速研究方面，国内外研究都集中在利用嵌入式硬件的并行计算能力以满足实时性需求。2022年研究者探讨了将ARM NEON与GPU等其他硬件结合的异构计算方案，以提高实时数据处理能力。国内则更注重硬件设计的经济型性和适配性。华为的NPU加速框架和其他企业开发的FPGA加速器在低功耗和高效率场景下表现突出。这些硬件优化方案为低照度图像处理技术在资源受限设备中的应用奠定了基础。
三、研究内容、研究方法及可行性分析
1、研究内容
本课题拟设计及主要完成的工作如下：
1、通过LIME算法估算光照图，提升图像亮度和对比度，集合反射率提升图像细节；
2、结合Retinex理论，利用深度展开网络对光照图和反射图进行联合优化，实现色彩校正和增强；
3、结合ARM NEON指令集等硬件实现高效并行计算、减少处理延迟；
2、研究方法
在 matlab平台上对直方图均衡化、CLAHE、Retinex 算法及 LIME 算法进行处理效果和性能表现的仿真和对比实验，综合评估各算法的优劣，再在 ARM 平台进行实测，选择 LIME 算法作为本课题低照度图像增强的核心算法。
LIME算法流程如图1所示
采用 ARM 架构的 NEON 指令集对 LIME 算法进行优化。在初始照明图的估计过程中，利用 NEON 指令集一次加载多个像素数据并并行计算最大值，减少循环次数；在照明图的优化过程中，将滤波器的核函数和图像数据向量化，通过 NEON 指令实现并行卷积运算，降低计算时间；在反射图的计算过程中，借助 NEON 指令并行计算多个像素的倒数和乘法操作，加速反射图计算；在数据存储和内存访问方面，采用内存对齐的方式加载和存储数据，提高数据传输效率。
设计全面的测试方案，包括性能测试（评估算法的处理速度和资源占用情况，选取多组不同分辨率和场景的低照度图像，如 480P、720p 和 1080p 分辨率，涵盖室内、室外、夜景等场景，在 RK3568 开发板上运行优化前后的 LIME 算法并记录处理时间、CPU 占用率和内存使用情况）、效果验证（采用客观评价方式，运用峰值信噪比（PSNR）和结构相似性指数（SSIM）等评价指标量化图像质量的提升）以及稳定性测试（评估算法在长时间连续运行下的可靠性，将优化后的算法部署在 RK3568 开发板上连续运行 24 小时处理实时获取的低照度视频流，并监测系统的 CPU、内存占用情况以及程序的运行状态）。
3、可行性分析
低照度图像处理是计算机视觉领域的重要研究方向，其可行性体现在丰富的理论基础、快速发展的深度学习技术、广泛的实际应用需求和良好的硬件支持。传统方法（如 Retinex 理论和 LIME 算法）提供了图像增强的理论框架，而深度学习模型（如 SID、EnlightenGAN 和 URetinex-Net）在提升低光图像质量、降噪和色彩还原方面表现出色。此外，公开数据集（如 LOL 和 SID 数据集）为模型训练提供了基础，而 GPU、NPU 等硬件支持也为算法的实际部署奠定了条件。低照度图像处理技术在安防监控、智能驾驶、手机摄影等领域具有重要价值，未来可通过轻量化模型、自适应增强以及多模态融合进一步优化性能。总体来看，该课题具备理论可行性和广阔的实际应用前景。
四、项目特色与创新点
1、面向特定应用场景的针对性研究
本项目聚焦于夜间图像采集及处理场景，充分考虑到该场景下低照度图像所面临的亮度不足、对比度低、噪声高等特定问题，研究成果将直接应用于如夜间监控等实际领域，具有很强的针对性和实用性。与一般泛化的图像处理研究不同，本项目深入挖掘夜间场景的图像特点和需求，致力于为解决该场景下的图像质量提升难题提供专门的解决方案。
1.多算法比较与选择的严谨性
在确定核心算法之前，对多种常见的低照度图像处理算法（如直方图均衡化、自适应直方图均衡化、Retinex 算法及 LIME 算法）在 ARM 平台上进行了全面且深入的处理效果和性能表现比较。这种多算法的横向对比分析，能够全面评估各算法在实际应用环境中的优劣，避免了单一算法选择的局限性，确保最终选定的 LIME 算法在该特定场景和硬件平台下具有最佳的综合性能表现，为后续研究奠定坚实的基础。
2.基于硬件平台的深度优化
以实验室现有的瑞芯微 RK3568 开发板为硬件，结合其硬件特性进行算法优化。在软件开发过程中，充分利用 C/C++ 语言在嵌入式开发中的高效性和灵活性，通过交叉编译将程序部署到开发板上，并针对开发板的架构特点，采用 ARM NEON 指令集对 LIME 算法进行深度优化。从初始照明图估计、照明图优化、反射图计算到数据存储和内存访问等多个关键环节，均进行了与硬件紧密结合的优化设计，实现了算法与硬件的协同工作，最大程度地提升了系统的图像处理效率。
五、进度安排
课题时间：2024年12月-2023年5月
具体安排：
1、2024.12.20 - 2025.01.10：
熟悉低照度图像增强的基本理论，对几种常见的低照度图像处理算法性能、优缺点和适用场景进行调研和比较分析，提交开题报告。
2、2025.01.11 - 2025.02.15：
熟悉理解LIME算法原理和实现过程，完成算法仿真
3、2025.02.16 - 2025.03.22：
利用瑞芯微RK3568开发板实现该算法，并利用NEON指令集实现加速计算，完成中期验收。
4、2025.03.23 - 2025.04.20：
选取了多组不同分辨率和场景的低照度图像对所完成的算法进行测试，并根据测试结果进行算法优化，开始撰写论文。
5、2025.4.21 - 2025.05.10：
完成论文，准备答辩。
六、主要参考文献
[1]Guo X., Li Y., Ling H. LIME: Low-Light Image Enhancement via Illumination Map Estimation [J]. IEEE Transactions on Image Processing, 2017, 26(2): 982-993.
[2]Zhao Z., Li J., Pu Y. Improved Retinex Low-Light Image Enhancement [J]. Computer Applications and Software, 2021, 38(8): 220-226.
[3]Wu W., Weng J., Zhang P., Wang X., Yang W., Jiang J. URetinex-Net: Retinex-based Deep Unfolding Network for Low-light Image Enhancement [C]. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022: 5891-5900.
[4]Lewis D. Chapter chatter [J]. IEEE Electromagnetic Compatibility Magazine, 2017, 6(4): 10-22.
[5]Zhang Z., Zheng H., Hong R., Xu M., Yan S., Wang M. Deep Color Consistent Network for Low-Light Image Enhancement [C]. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022: 1889-1898.
[6]Land E. H., McCann J. J. Lightness and Retinex Theory [J]. Journal of the Optical Society of America, 1971, 61: 1-11.
[7]Zhang Z., Wu Y., Wang G. BPGrad: Towards Global Optimality in Deep Learning via Branch and Pruning [C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018: 3301-3309.
[8]Pizer S. M., Amburn E. P., Austin J. D., Cromartie R., Fowler S. P. Adaptive histogram equalization and its variations [J]. Computer Vision, Graphics, and Image Processing, 1987, 39(3): 355-368.
[9]Morawski I., Chen Y.-A., Lin Y.-S., Dangi S., He K., Hsu W. H. GenISP: Neural ISP for Low-Light Machine Cognition [C]. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2022: 629-638.
[10]Liu Y., Chen L., Hu M. Theoretical Model and Effects Analysis of Collective Synergistic Learning [C]. 2016 International Conference on Educational Innovation through Technology (EITT), 2016: 102-105.
[11]Austin J. D., Pizer S. M. An Architecture for Fast Image Processing [R]. Technical Report TR86-002, Department of Computer Science, University of North Carolina, 1986.
[12]Castleman K. R. Digital Image Processing [M]. Prentice-Hall, 1979.
[13]Hummel R. A. Image enhancement by histogram transformation [J]. Computer Graphics and Image Processing, 1977, 6: 184-195.
[14]Ketcham D. J., Lowe R. W., Weber J. W. Real-time image enhancement techniques [C]. Seminar on Image Processing, Hughes Aircraft, 1976: 1-6.
[15]Wang Z., Bovik A. C., Sheikh H. R., Simoncelli E. P. Image quality assessment: from error visibility to structural similarity [J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.
[16]Huynh-Thu Q., Ghanbari M. Scope of validity of PSNR in image/video quality assessment [J]. Electronics Letters, 2008, 44(16): 800-801.
[17]Hu Chengyang, Wang Xuhong, Fan Shaosheng, Liu Xingyu. A Low-Light Image Enhancement Network Based on Multi-Scale Feature Fusion for Substation Metering [J]. Journal of Electric Power, 2024, 39(181): 281-291.
[18]SU Fu, JING Liang, LUO Renze, WANG Longye, ZHANG Kaixin, FANG Dong. Low-light image enhancement algorithm based on unsupervised learning [J]. Journal of Optoelectronics·Laser, 2023, 34(10): 1036.
[19]KURMI Y., CHAURASIA V. Content-based image retrieval algorithm for nuclei segmentation in histopathology images [J]. Multimedia Tools and Applications, 2021, 80(2): 3017-3037.
[20]LI G. F., LI G. J., HAN G. L., et al. Bright channel prior retinex illumination compensation for low-light images [J]. Systems Engineering and Electronic Technology, 2018, 26(5): 1191-1200.
[21]YANG W., WANG S., FANG Y., et al. From fidelity to perceptual quality: A semi-supervised approach for low-light image enhancement [C]. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 3063-3072.
[22]WANG S. H., ZHENG J., HU H. M., et al. Naturalness preserved enhancement algorithm for non-uniform illumination images [J]. IEEE Transactions on Image Processing, 2013, 22(9): 3538-3548.
[23]Zhang, Y., et al. Heterogeneous Computing on ARM Devices: Combining NEON and GPU for Enhanced Performance[J]. IEEE Transactions on Parallel and Distributed Systems, 2022, 33(9): 2345-2358.