LEESDFormer:基于CNN-Transformer的轻量级无监督低光图像增强与曝光抑制曲线估计网络

【字体: 时间:2025年06月16日 来源:Neural Networks 6.0

编辑推荐:

  针对低光图像增强中混合曝光和噪声导致的细节丢失问题,研究人员提出首个无监督CNN-Transformer方法LEESDFormer。通过设计LEES-S曲线简化增强任务,结合混合注意力机制(空间注意力+自注意力)和分组卷积(GConv),实现低光增强、曝光抑制与去噪的联合优化。该模型仅65K参数量,在LOL-v2-real数据集PSNR达21 dB,处理速度8 ms/图,为资源受限设备提供高效解决方案。

  

在智能手机普及和自动驾驶发展的时代,低光环境下的图像质量直接影响视觉任务的准确性。然而,现有方法如基于Retinex理论或卷积神经网络(CNN)的增强技术,往往陷入“顾此失彼”的困境:增强暗部时忽略过曝区域,抑制噪声时丢失纹理细节。更棘手的是,传统Transformer虽能捕捉全局信息,但计算复杂度高,难以部署在移动设备上。这种矛盾催生了计算机视觉领域的关键挑战——如何平衡增强效果与计算效率?

针对这一难题,中国研究人员提出LEESDFormer,首次将CNN与Transformer的优势融合于无监督低光增强任务。该研究发表于《Neural Networks》,其核心创新在于将复杂增强问题转化为LEES-S曲线估计,通过轻量化设计实现三合一功能:低光增强、曝光抑制和去噪。实验表明,该模型在LOL-v2-real数据集PSNR突破21 dB,比现有无监督方法提升4 dB以上,参数量仅65K,单图处理耗时8毫秒,甚至超越部分监督学习方法。

关键技术方法
研究采用两阶段架构:低光增强与曝光抑制模块(LEESM)通过迭代LEES-S曲线调整图像动态范围;图像去噪模块(IDM)采用单层CNN-Transformer块减少噪声。创新性使用混合注意力机制(空间注意力+自注意力)平衡局部与全局信息,配合分组卷积(GConv)和通道混洗降低参数量。训练阶段提出联合优化策略,使用LOL-v2-real和LSRW等基准数据集验证性能。

研究结果

  1. LEES-S曲线设计
    通过数学建模将增强任务转化为S形曲线估计,实验证明该曲线能同时提升暗部细节(如LIME数据集的纹理)并抑制过曝区域(如MEF数据集的天空部分),避免传统伽马校正的色偏问题。

  2. 混合注意力机制
    在LEESM模块中,空间注意力精准定位局部暗区(如DICM的阴影),自注意力则协调全局曝光(如NPE的整体亮度分布)。消融实验显示该组合使SSIM提升0.15。

  3. 轻量化IDM模块
    仅含单层CNN-Transformer块的IDM,在AP-BSN等去噪基准上保持竞争力,同时将参数量控制在传统方法的1/10。LOL-v2-real测试中,噪声标准差降低至3.2。

  4. 跨数据集验证
    在无参考数据集DICM和LIME上,LEESDFormer的NIQE指标优于RUAS 30%,证明其强泛化性;实时性测试显示在RTX 3090 GPU上吞吐量达125 FPS。

结论与意义
该研究通过CNN-Transformer协同架构和LEES-S曲线建模,解决了低光增强领域三个长期矛盾:效果与效率的平衡(65K参数/21 dB PSNR)、局部与全局的兼顾(混合注意力)、增强与去噪的联合(端到端训练)。其技术价值体现在三方面:一是为无监督学习提供新范式,避免对配对数据的依赖;二是轻量化设计推动边缘计算应用,如夜间自动驾驶(G. Li等2021研究场景);三是方法论层面证明曲线估计可简化复杂视觉任务。未来可探索该框架在医学影像(如低光内镜)和多光谱成像中的迁移潜力。

(注:全文数据与结论均源自原文,未添加外部引用)

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号