
-
生物通官微
陪你抓住生命科技
跳动的脉搏
LEESDFormer:基于CNN-Transformer的轻量级无监督低光图像增强与曝光抑制曲线估计网络
【字体: 大 中 小 】 时间:2025年06月16日 来源:Neural Networks 6.0
编辑推荐:
针对低光图像增强中混合曝光和噪声导致的细节丢失问题,研究人员提出首个无监督CNN-Transformer方法LEESDFormer。通过设计LEES-S曲线简化增强任务,结合混合注意力机制(空间注意力+自注意力)和分组卷积(GConv),实现低光增强、曝光抑制与去噪的联合优化。该模型仅65K参数量,在LOL-v2-real数据集PSNR达21 dB,处理速度8 ms/图,为资源受限设备提供高效解决方案。
在智能手机普及和自动驾驶发展的时代,低光环境下的图像质量直接影响视觉任务的准确性。然而,现有方法如基于Retinex理论或卷积神经网络(CNN)的增强技术,往往陷入“顾此失彼”的困境:增强暗部时忽略过曝区域,抑制噪声时丢失纹理细节。更棘手的是,传统Transformer虽能捕捉全局信息,但计算复杂度高,难以部署在移动设备上。这种矛盾催生了计算机视觉领域的关键挑战——如何平衡增强效果与计算效率?
针对这一难题,中国研究人员提出LEESDFormer,首次将CNN与Transformer的优势融合于无监督低光增强任务。该研究发表于《Neural Networks》,其核心创新在于将复杂增强问题转化为LEES-S曲线估计,通过轻量化设计实现三合一功能:低光增强、曝光抑制和去噪。实验表明,该模型在LOL-v2-real数据集PSNR突破21 dB,比现有无监督方法提升4 dB以上,参数量仅65K,单图处理耗时8毫秒,甚至超越部分监督学习方法。
关键技术方法
研究采用两阶段架构:低光增强与曝光抑制模块(LEESM)通过迭代LEES-S曲线调整图像动态范围;图像去噪模块(IDM)采用单层CNN-Transformer块减少噪声。创新性使用混合注意力机制(空间注意力+自注意力)平衡局部与全局信息,配合分组卷积(GConv)和通道混洗降低参数量。训练阶段提出联合优化策略,使用LOL-v2-real和LSRW等基准数据集验证性能。
研究结果
LEES-S曲线设计
通过数学建模将增强任务转化为S形曲线估计,实验证明该曲线能同时提升暗部细节(如LIME数据集的纹理)并抑制过曝区域(如MEF数据集的天空部分),避免传统伽马校正的色偏问题。
混合注意力机制
在LEESM模块中,空间注意力精准定位局部暗区(如DICM的阴影),自注意力则协调全局曝光(如NPE的整体亮度分布)。消融实验显示该组合使SSIM提升0.15。
轻量化IDM模块
仅含单层CNN-Transformer块的IDM,在AP-BSN等去噪基准上保持竞争力,同时将参数量控制在传统方法的1/10。LOL-v2-real测试中,噪声标准差降低至3.2。
跨数据集验证
在无参考数据集DICM和LIME上,LEESDFormer的NIQE指标优于RUAS 30%,证明其强泛化性;实时性测试显示在RTX 3090 GPU上吞吐量达125 FPS。
结论与意义
该研究通过CNN-Transformer协同架构和LEES-S曲线建模,解决了低光增强领域三个长期矛盾:效果与效率的平衡(65K参数/21 dB PSNR)、局部与全局的兼顾(混合注意力)、增强与去噪的联合(端到端训练)。其技术价值体现在三方面:一是为无监督学习提供新范式,避免对配对数据的依赖;二是轻量化设计推动边缘计算应用,如夜间自动驾驶(G. Li等2021研究场景);三是方法论层面证明曲线估计可简化复杂视觉任务。未来可探索该框架在医学影像(如低光内镜)和多光谱成像中的迁移潜力。
(注:全文数据与结论均源自原文,未添加外部引用)
生物通微信公众号
知名企业招聘