Regeneron ISEF 2025 大奖：BEHA041T - 用于 Deepfake 检测的音频视频深度学习

深度伪造是一种快速发展的虚假信息传播工具。2025 年，约有 800 万个深度伪造视频被分享至网络，且每 6 个月数量翻一番。研究发现，人们难以识别深度伪造，但深度学习拥有更大的潜力。现有模型由于仅使用单一模态（视频或音频）而缺乏通用性。同时使用视频和音频数据来检测深度伪造的探索甚少。本项目旨在解决深度伪造危机：创建并全面测试用于深度伪造检测的音视频多模态深度学习模型。\n\n\n我们使用了一个包含 2 万多个视频文件的多模态音视频深度伪造数据集。我们使用深度学习模型（用于视频嵌入的 Vision Transformers 和用于音频嵌入的 Wav2Vec2）提取嵌入，并包含三个变体：通用、深度伪造和情感。然后，这些嵌入作为特征发送到 13 个不同的下游机器学习模型。使用此流程创建了超过 3,300 个模型，迭代了超过 7,100 万个文件。\n\n\nt-SNE 嵌入可视化表明，DeepFake 嵌入能够成功区分真实样本和 DeepFake 样本。DeepFake 嵌入具有卓越的性能。总体而言，最佳模型的准确率达到 99.49%，AUC 得分达到 99.71%，显著优于当前最先进的 DeepFake 检测方法。成本分析模型发现，这种多模态方法极具成本效益，处理 Instagram 上每天发布的 9,500 万个视频的一次性成本仅为 7,200 美元。此外，该方法还确定了对 DeepFake 检测最重要的面部部位。总而言之，音频-视频多模态深度学习是一种检测 DeepFake 和阻止虚假信息的有效技术。