图像伪造照妖镜：北大发布多模态 LLM 图像篡改检测定位框架 FakeShield

北京大学的科研人员最近推出了一款名为FakeShield的新型多模态框架，旨在识别和定位图像伪造区域，并提供相关错误的合理解释，以提高图像伪造检测的可解释性和泛化能力。

随着生成式人工智能(AIGC)技术的快速发展，图像编辑和合成技术变得日益成熟和普及。这种趋势在提升图像内容创作便捷性的同时，也增加了篡改检测的难度。

现如今，用户可以利用诸如Photoshop、DeepFake、AIGC等工具对图像进行高质量编辑，通常不留下任何痕迹。在这种背景下，准确检测和定位篡改区域成为学术界和工业界的关切。

当前的图像篡改检测与定位(IFDL)算法在网络结构和训练策略上取得了一定进展，但仍存在一些主要问题：

• 1. 大多数方法采用黑匣子模型，仅提供真实性概率，缺乏详细的检测解释，降低用户对结果的信任度。

• 2. 现有算法通常面向特定篡改技术，无法处理多样化的篡改手段，降低了实用性。

为了解决这些问题，北京大学与华南理工大学合作，提出了一项全新任务：可解释的图像伪造检测与定位(e-IFDL)，并设计了一个创新的多模态伪造检测定位框架：FakeShield。

利用多模态大语言模型的视觉和语言理解，FakeShield不仅在检测图像真实性、生成篡改区域掩膜方面取得成果，同时提供详细解释，从而增强了检测定位过程的透明性和泛化能力。

为了解决现有IFDL方法的不足，FakeShield做出了以下主要贡献：

• 1. 首次提出多模态大模型框架用于图像篡改检测与定位，分离检测与定位过程，提供合理的判断依据，解决了现有方法的黑匣子问题。

• 2. 利用GPT-4o丰富IFDL数据集，构建多模态篡改描述数据集（MMTD-Set），通过关注不同篡改特征，生成「图像-掩膜-描述」三元组，提高模型分析能力。

• 3. 设计基于领域标签引导的解释性篡改检测模块（DTE-FDM），在单一模型中检测多种篡改类型，缓解数据域冲突问题。同时，通过多模态篡改定位模块（MFLM），对齐视觉和语言特征，实现精准的篡改区域定位。

通过以上创新，FakeShield不仅提升了篡改检测定位的准确性和解释性，还显著增强了模型的适应性和实用性，为图像篡改检测领域提供了一种全面而高效的解决方案。

MMTD-Set 数据集

根据篡改方法，我们将篡改图片分类为PhotoShop、DeepFake、AIGC-Editing三个数据类型。利用GPT-4o生成对篡改图像的分析描述，构建「图像-掩膜-描述」三元组，以支持模型多模态训练。针对不同篡改类型，我们设计特定描述提示，引导GPT关注不同的像素伪影和语义错误。

在建立MMTD-Set中，prompt设计是至关重要的，确保GPT-4o能生成与篡改图像相关的高质量描述。定位描述中，GPT-4o需要清晰表达篡改区域的绝对和相对位置。在可见细节方面，prompt关注各类视觉异常，以更准确地感知篡改区域位置。

对Photoshop篡改，prompt聚焦于像素级伪影和不自然边缘，要求模型检查光照一致性、像素模糊和分辨率变化，判断是否违反物理规律。

在可见细节捕捉中，prompt侧重于文字生成和视觉逻辑，判断文字拼写、排列、场景光影和对象位置合理性。

为AIGC编辑，prompt关注文字生成和视觉逻辑，分析文字拼写、排列，判断场景光影和对象位置的合理性。

这种根据篡改类型设计的prompt确保了FakeShield在检测和解释方面的高效性和准确性。

FakeShield框架

FakeShield框架由域标签引导的可解释伪造检测模块（DTE-FDM）和多模态伪造定位模块（MFLM）组成。

DTE-FDM负责图像伪造检测与分析，利用数据域标签弥合不同伪造类型之间的数据域冲突，引导多模态大语言模型生成检测结果。MFLM借助DTE-FDM输出的篡改区域描述作为视觉分割模型的Prompt，指导精准定位篡改区域。

域标签引导的可解释伪造检测模块（DTE-FDM）

DTE-FDM负责图像伪造检测和分析，通过生成数据域标签缓解不同伪造类型数据之间的冲突，引导多模态大语言模型(GPT)生成检测结果及判定依据。

在检测过程中，图像I_ori通过数据域标签生成器生成特定标签，经过编码器和线性投影层转化为特征向量。

这些特征与指令文本一同输入大语言模型，生成检测结果，包括篡改判断、具体篡改区域描述和解释性分析。

DTE-FDM除了检测图像真实性外，还生成详细的判断依据，包括光照一致性、边缘伪影、分辨率差异等。这种设计确保模型能应对多样化的伪造场景，增强检测准确性、解释性和透明度。

多模态伪造定位模块（MFLM）

MFLM负责精准定位图像中的篡改区域，融合多模态特征，生成准确的篡改掩膜。通过文本和视觉信息融合，MFLM旨在增强对复杂篡改区域的识别。

在MFLM中，输入图像经过编码，将图像特征与解释性文本对齐。对齐后的嵌入表示通过多层感知机投影为特殊的令牌嵌入，用于指导生成篡改区域掩膜。

MFLM利用LoRA微调技术，轻量化优化模型，提高处理效率，降低成本。多模态交互设计使MFLM能应对复杂篡改场景，提升篡改区域定位准确性。

实验结果

FakeShield与多种IFDL方法和多模态大语言模型(MLLM)在检测、解释和定位方面进行了全面对比。为确保公平性，所有IFDL方法均在相同数据集上训练和测试。

比较包括多种篡改场景，全面评估了各模型在多模态信息融合和复杂篡改检测中的表现。

检测性能对比

与其他IFDL方法进行了检测性能对比，结果表明，FakeShield在Photoshop、DeepFake和AIGC编辑等数据集上的检测准确率和F1分数明显优于其他方法。通过引入域标签引导策略，FakeShield能有效处理多种篡改类型，增强跨领域泛化能力。

解释性能对比

与预训练的多模态大语言模型(M-LLMs)进行了解释能力对比，评估了FakeShield在Photoshop、DeepFake和AIGC编辑数据集上的表现。

使用余弦语义相似度(CSS)作为衡量标准，FakeShield在各方面得分最高，展示了生成详细篡改区域描述的能力。

定位性能对比

与其他先进IFDL方法在Photoshop和AIGC编辑等数据集上进行了篡改区域定位能力对比。实验结果显示，FakeShield在大多数测试集上取得了最高的IoU和F1分数。

主观结果对比也显示，FakeShield生成更清晰和精确的篡改区域分割，准确捕捉边界，相对其他方法如PSCC-Net则更易产生模糊和过于宽泛的预测。

参考资料：

• https://arxiv.org/abs/2410.02761

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考。