基于姿态和外观控制的去噪扩散模型对抗攻击：人物图像合成中的安全漏洞分析

《IEEE Open Journal of the Computer Society》：Adversarial Attacks on Person Image Synthesis: Leveraging Pose and Appearance Controls in Denoising Diffusion Models

　　本文针对姿态引导扩散模型在人物图像合成中的安全隐患，提出了一种新型对抗攻击框架。研究团队通过操纵源图像（频率扰动/FP、重影/GH、高斯畸变/GA、强度变换/IT、色差/CA）和目标姿态（诱导误导/IM）两类攻击方式，系统评估了PIDM模型的脆弱性。实验表明FP攻击可使SSIM下降85%以上，LPIPS增加90%，揭示了扩散模型在隐私保护和医疗诊断等敏感场景中的潜在风险，为生成模型的安全防御提供了重要基准。

　　

随着人工智能技术的飞速发展，基于去噪扩散模型的姿态引导人物图像合成技术近年来取得突破性进展。这类模型能够通过反向扩散过程将随机噪声逐步转化为符合特定姿态条件的高质量图像，在虚拟试衣、影视特效和数字人生成等领域展现出巨大潜力。然而，这种高度依赖输入条件控制的生成方式也埋下了严重的安全隐患——攻击者可能通过精心设计的对抗样本操纵生成结果，导致输出图像出现结构性失真或语义偏差。

为了系统评估这类风险，来自巴基斯坦国立科学技术大学和卡塔尔大学的研究团队开展了针对人物图像扩散模型(Person Image Diffusion Model, PIDM)的对抗攻击研究。该模型作为首个专门针对姿态引导合成的扩散框架，通过纹理扩散块(Texture Diffusion Block, TDB)和解耦分类器自由引导(Disentangled Classifier-Free guidance, DCF)等创新组件，实现了源图像纹理与目标姿态的精确对齐。然而正是这种双输入控制机制（源图像控制外观，姿态关键点控制几何结构），为对抗攻击提供了可乘之机。

研究团队设计了一套低成本的攻击框架，将攻击类型划分为外观操纵和姿态控制两大类别。外观操纵攻击通过五种不同策略修改源图像：频率扰动(FP)在频域添加椒盐噪声或高斯噪声；强度变换(IT)调整对比度和亮度参数；高斯畸变(GA)引入随机噪声；重影(GH)通过仿射变换创建重叠影像；色差(CA)则对RGB通道进行位移处理。姿态控制攻击则采用诱导误导(IM)策略，通过替换目标姿态关键点来误导生成方向。

关键技术方法包括：基于快速傅里叶变换(Fast Fourier Transform, FFT)的频域扰动技术，通过二元掩码修改频域分量；仿射变换矩阵实现的重影效果生成；以及针对PIDM核心组件（噪声预测模块、纹理编码器、TDB块和DCF引导机制）的针对性攻击设计。实验采用深度时尚数据集(DeepFashion)的52,712张高分辨率图像，使用OpenPose提取姿态关键点，以结构相似性指数(Structural Similarity Index Measure, SSIM)和学习感知图像块相似度(Learned Perceptual Image Patch Similarity, LPIPS)作为量化评估指标。

攻击效果可视化分析

通过图6-11的对比可见，FP攻击在FP3强度下导致纹理细节严重退化，服装图案出现高频失真；IT攻击在极端参数（如IT5的α=3.0, β=50）下造成曝光过度和色彩偏移；GH攻击通过多重仿射变换产生鬼影效果，显著破坏空间连贯性。姿态误导攻击则使生成人物呈现完全错误的肢体朝向，证明模型对姿态输入的依赖性存在被恶意利用的风险。

量化结果分析

如表2所示，FP3攻击使SSIM降至0.0997（下降85.2%），LPIPS升至0.6354（增加93.8%），表明感知质量严重受损。GH5攻击导致SSIM下降35.6%，LPIPS增幅接近100%。对比而言，高斯噪声攻击(GA3)的影响较弱（SSIM仅降10.8%），说明模型对结构化扰动更为敏感。姿态误导攻击虽未改变图像质量指标，但彻底破坏了姿态对齐的语义正确性。

模块消融实验

通过禁用TDB和DCF组件的对比实验（表3-4）发现，纹理扩散块(TDB)的缺失使模型对FP和GH攻击的抵抗力显著下降，LPIPS值进一步恶化0.014-0.029；而禁用DCF引导仅对色差攻击(CA)有轻微缓解作用，证明TDB是维持对抗鲁棒性的核心模块。完整PIDM在256×176分辨率下仍保持最佳性能，SSIM比消融模型平均高0.02-0.04。

研究结论表明，频率域攻击因其符合人类视觉对高频信息不敏感的特性，具有最佳的隐蔽性和破坏力。而姿态控制攻击则暴露出条件生成模型对输入验证的缺失风险。这类漏洞在医疗影像合成（如生成错误的诊断图像）和身份认证（如欺骗人脸识别系统）等场景可能造成严重后果。

该研究的理论意义在于首次系统揭示了扩散模型在双条件输入模式下的安全盲区，实践价值在于为生成模型的对抗防御提供了可量化的基准。未来研究可探索基于联合分布验证的姿态合法性检测，或针对频域扰动的自适应滤波机制。值得注意的是，与需要污染训练数据的后门攻击相比，本文提出的推理阶段攻击更具实施便利性，这进一步强调了在扩散模型部署前进行鲁棒性测试的必要性。