基于关系感知空间-频率交互聚合与对比学习的持续人脸伪造检测新方法

　　本文提出一种创新的持续人脸伪造检测(CFFD)框架，通过关系感知空间-频率交互聚合网络(RSIA-Net)和分层对比学习机制(HSCL)，实现了对新兴伪造技术的高效适应与检测。该框架融合多视角知识蒸馏与混合采样回放策略，显著提升模型泛化能力，在四个公开数据集上展现超越现有技术的性能表现。

　　

研究亮点

1. 1.

   我们提出新颖的持续人脸伪造检测(CFFD)框架，促进新型伪造技术学习的同时保持对原有伪造技术的检测性能，显著提升模型对不同篡改技术的泛化能力。

2. 2.

   我们提出RSIA-Net网络，利用设计的关系感知空间-频率交互聚合(RSIA)模块，逐步增强空间与频率信息的相关性，促进特征的有效互补嵌入，助力捕捉细微伪造痕迹。同时通过构建空间和频率域多层级特征上的域内与跨域特征关联，所提出的分层空间-频率对比学习(HSCL)机制有效改善了多模态信息融合效果，增强了特征区分度。

3. 3.

   在四个公开数据集上的大量实验证明，我们提出的方法在未见人脸伪造数据集上超越现有方法，展现出卓越的泛化能力。

人脸伪造检测

检测人脸伪造对确保人脸真实性至关重要，考虑到精密操纵技术带来的日益增长的社会风险。现有人脸伪造检测方法大体可分为启发式方法和深度学习方法。启发式方法旨在通过利用手工特征（如视觉特征或人类生物特征）提取篡改伪影来检测伪造。然而随着新型操纵技术的出现...

问题表述

持续人脸伪造检测任务旨在利用少量新样本优化检测模型以识别新型伪造技术，并保留以往任务知识以防止灾难性遗忘。给定人脸伪造检测任务序列[T_D1¹, T_D2², ?, T_Di^I]且T_D1¹∩T_D2²?T_Di^I = ?，其中I表示任务总数，T_Diⁱ = {(x₁ⁱ, y₁), (x₂ⁱ, y₂), ?, (x_jⁱ, y_j)}_j=1^D_i表示第i个任务，包含总共D_i个真实和伪造样本，x_jⁱ是T的第j张图像...

数据集

使用四个公开人脸伪造数据集进行性能评估：Faceforencis++ (FF++)、Deepfake Detection (DFD)、CelebDFv2 (CDF2)和DeepFake Detection Chanllenge-Preview (DFDC-P)。FF++是人脸伪造检测任务的常用数据集，包含使用四种不同人脸伪造方法生成的4000个伪造视频：DeepFakes(DF)、Face2Face(F2F)、FaceSwap(FS)和Neural Textures(NT)，以及1000个真实视频。该数据集提供三种...

结论

本文提出新颖的持续人脸伪造检测框架，集成多视角知识蒸馏和回放机制以增强模型对不同篡改类型的泛化能力。多视角知识蒸馏在特征和标签层面从教师网络蒸馏知识，缓解对以往任务知识的遗忘，同时利用不同伪造技术的共同特征促进学生网络对新任务的学习...