图像伪造照妖镜：北大发布多模态 LLM 图像篡改检测定位框架 FakeShield

来自北京大学的研究团队创新性地开发了一个多模态框架 FakeShield，该框架能够识别图像伪造并定位修改的区域。同时，它基于像素和图像语义的错误提供合理的解释，这一特性可以增强图像伪造检测的可解释性和普适性。

随着生成式人工智能（AIGC）技术的快速发展，图像编辑与合成方法愈加成熟，带来了便捷的内容创作，但同时也显著提高了伪造检测的难度。

用户可通过 Photoshop、DeepFake、AIGC 等工具高质量地编辑图像，且常常不留下可追踪的痕迹。在这样的背景下，准确识别和定位伪造区域成为了学术界和工业界关注的焦点。

尽管当前的图像伪造检测与定位（IFDL）算法在网络设计和训练策略上取得了进展，但依然面临几个主要挑战：

• 1. 许多方法采用黑箱模型，仅返回真实性概率，缺乏详细的检测解释，导致用户对结果的信任度下降。

• 2. 现有算法通常针对特定的伪造技术，无法应对各种多样化的篡改方法，从而降低了其实用性。

为解决这些挑战，北京大学与华南理工大学的研究团队提出了一项全新任务：可解释的图像伪造检测与定位（e-IFDL），并设计出创新的多模态伪造检测定位框架 FakeShield，如图 1 所示。

FakeShield 结合多模态大语言模型的视觉和语言理解能力，能够在检测图像的真实性和生成篡改区域掩膜的同时，提供详尽的解释，从而提升了检测与定位过程的透明度和泛化能力。

为了解决现有 IFDL 方法的不足，FakeShield 主要提出了以下贡献：

• 1. 提出了首个多模态大模型框架用于图像伪造检测与定位，实现了检测与定位过程的解耦，并提供合理的判断依据，解决了当前方法的黑箱问题。

• 2. 使用 GPT-4o 丰富现有 IFDL 数据集，建立了多模态篡改描述数据集（MMTD-Set），通过关注不同的篡改特征，生成「图像-掩膜-描述」三元组，增强了模型的分析能力。

• 3. 设计了基于领域标签引导的解释性篡改检测模块（DTE-FDM），在单个模型中检测多种篡改类型，缓解数据域间的冲突问题。同时，通过多模态篡改定位模块（MFLM），对齐视觉和语言特征，实现精准的篡改区域定位。

基于以上创新，FakeShield 不仅提升了伪造检测与定位的准确性和可解释性，还显著增强了模型的适应性和实用性，为图像伪造检测领域提供了一种综合而有效的解决方案。

MMTD-Set 数据集

如图 2 所示，我们依照篡改方式将伪造图像分为 Photoshop、DeepFake、AIGC-Editing 三个数据域。我们利用现有的 IFDL 数据集，运用 GPT-4o 生成关于伪造图像的分析与描述，构建「图像-掩膜-描述」三元组，以便支持模型的多模态训练。此外，针对不同的篡改类型，我们设计了特定的描述提示，引导 GPT 关注不同的像素伪影和语义错误。

在 MMTD-Set 的构建过程中，提示设计是关键环节，确保 GPT-4o 能准确生成与伪造图像相关的高质量描述。当输入编辑后的图像及其二值掩膜时，提示设计围绕定位篡改区域和捕捉可见细节展开。

在定位描述中，GPT-4o 需清晰表达篡改区域的绝对位置和相对位置。绝对位置指篡改区域在整个图像中的位置，如「图像左上角」或「靠近下半部分」。相对位置则要求描述篡改区域与其他物体的关系，如「在桌面上方」或「靠近人群」。这种双重描述设计有助于模型更准确地感知篡改区域，确保输出的掩膜与实际篡改区域一致。

在捕捉可见细节方面，提示重点关注多种视觉异常，这些异常反映了篡改过程中可能产生的伪影和逻辑错误。

对于 Photoshop 修改，提示侧重于像素级伪影和不自然的边缘，要求模型检查光照一致性、像素模糊和分辨率变化，同时判断是否违反物理规律，如缺失阴影或透视关系不合理。在 DeepFake 数据中，提示强调面部细节及语义逻辑，要求模型关注皮肤纹理连贯性、表情自然性及光影匹配，留意面部对称性和眼睛反射异常。

对于 AIGC 编辑，提示则聚焦于文字生成和视觉逻辑，要求分析文字拼写是否准确、排列是否合理，并判断场景中光影与物体位置的合理性。这种针对不同伪造类型的提示设计确保了 FakeShield 在检测与解释上的高效性和准确性。

FakeShield 框架

如图 3 所示，该框架由域标签引导的可解释伪造检测模块（DTE-FDM）和多模态伪造定位模块（MFLM）组成，两者都是关键部分。

DTE-FDM 负责图像伪造检测及结果分析，通过生成数据域标签（domain tag）来缓解不同伪造类型数据间的域冲突，指导多模态大语言模型生成检测结果与判定依据。MFLM 则利用 DTE-FDM 输出的篡改区域描述作为视觉分割模型的提示，帮助其准确定位篡改区域。

Domain Tag-guided Explainable Forgery Detection Module（DTE-FDM）

DTE-FDM 模块负责图像伪造检测与结果分析，通过生成数据域标签以缓解不同伪造类型数据（如 Photoshop、DeepFake、AIGC 编辑）之间的域冲突。这些标签引导多模态大语言模型聚焦于各类篡改特征，实现针对性检测与解释。

在检测过程中，输入图像 I_ori 经数据域标签生成器 G_dt 分配特定标签 T_tag，表明该图像的伪造类型。随后，图像被编码器 F_enc 和线性投影层 F_proj 转换为特征向量 T_img。

这些图像特征与指令文本 T_ins 一起输入 LLM，生成检测结果 O_det，包括是否篡改、具体的篡改区域描述及解释分析。

具体过程如下：

DTE-FDM 不仅能够判断图像真实性，还会为不同伪造类型生成详细的判定依据，包括光照一致性、边缘伪影和分辨率差异等。这一设计确保模型能够应用于多样化的伪造场景，增强了检测的准确性与可解释性，使得 FakeShield 在复杂伪造任务中具备更强的泛化能力及实用性。

Multi-modal Forgery Localization Module（MFLM）

MFLM 模块负责精准定位图像中的篡改区域，通过多模态特征对齐的方法，将文本与视觉信息融合，从而生成准确的篡改掩膜。MFLM 的设计旨在解决依赖单一模态信息带来的定位不准确问题，提升对复杂篡改区域的识别能力。

在 MFLM 中，输入图像 I_ori 经 Tamper Comprehension Module (TCM) 编码，将图像特征与解释性文本 O_det 对齐。对齐后的嵌入表示通过多层感知机（MLP）投影为特殊的令牌嵌入，用于指导分割模型生成篡改区域掩膜 M_loc。

整体过程如下：

其中，S_enc 和 S_dec 分别是图像的编码器与解码器，Extract (⋅) 用于提取嵌入，通过上述操作，MFLM 根据文本描述与图像特征的对齐生成准确的二值掩膜。

此外，MFLM 采用了 LoRA 微调技术对模型进行轻量化优化，以提升处理效率和降低计算成本。与仅使用单一模态的分割方法相比，这种多模态交互设计使 MFLM 可以应对更加复杂的篡改场景，如光照不一致、透视错误和物体拼接，从而显著提高篡改区域的定位准确性。

实验结果

我们对 FakeShield 在检测、解释和定位方面的性能与多种 IFDL 方法及多模态大语言模型（MLLM）进行了全面对比。为确保结果的公平性，所有 IFDL 方法均在与 FakeShield 相同的数据集上进行了训练与测试。

此次对比涵盖 Photoshop、DeepFake、AIGC 编辑等多种篡改场景，全面评估各模型在多模态信息融合和复杂伪造检测中的表现。

检测性能对比

我们将 FakeShield 与 MVSS-Net、CAT-Net 等其他先进的 IFDL 方法进行了检测性能的对比，结果如表 1 所示。实验结果显示，FakeShield 在 Photoshop、DeepFake 和 AIGC 编辑等数据集上的检测准确率（ACC）和 F1 分数均明显优于其他方法。通过引入领域标签引导策略（domain-tag guidance），FakeShield 能有效处理多种篡改类型，增强跨领域的泛化能力。

解释性能对比

我们通过与预训练的多模态大语言模型（M-LLMs）在 Photoshop、DeepFake 和 AIGC 编辑数据集上的表现进行比较，以评估 FakeShield 的解释能力，结果如表 2 所示。

我们使用余弦语义相似度（CSS）作为衡量指标，FakeShield 在所有测试中均获得最高分数，展现出其生成准确、详细的篡改区域描述的能力。这表明 FakeShield 能够在复杂的篡改场景中生成与真实情况高度一致的解释性描述，极大提升了模型在检测过程中的可解释性与透明度。

定位性能对比

我们将 FakeShield 与其他先进的 IFDL 方法在 Photoshop 和 AIGC 编辑等数据集上的表现进行比较，以评估 FakeShield 在篡改区域定位能力，结果如表 3 所示。实验结果显示，FakeShield 在大多数测试集中均获得最高的 IoU 和 F1 分数。

另外，图 4 的主观结果对比也表明，FakeShield 能生成更清晰、更精准的篡改区域分割，准确抓取边界，而其他方法如 PSCC-Net 则容易产生模糊且过于宽泛的预测。

参考资料：

• https://arxiv.org/abs/2410.02761