朱昊:安徽大学与中科院自动化所联合培养硕士,主要研究方向为视频编辑与生成,目前已在 NeurIPS与IJCAI等会议上发表论文 3 篇。
报告题目:AOT: Appearance Optimal Transport Based Identity Swapping for Forgery Detection
报告摘要:换脸场景中的外观差距主要来自于现实场景中广泛存在的光照和肤色的差异。然而,由于对复杂的外观见映射建模的困难性,如何在保留身份特征的前提下,自适应地实现细粒度的外观是一个挑战。因此本文将外观映射视为一个最优传输问题,并提出外观最优传输模型(AOT),在隐层空间和像素空间中进行逐步的实现颜色迁移。具体来说,我们设计了一个重新打光生成器来模拟最优运输的映射。它通过最小化学习特征在潜伏空间中的Wasserstein距离来求解,使得性能比传统优化更好,计算量更少。为了进一步完善最优传输方案,我们设计了一个混合再分割游戏来最小化像素空间中的Wasserstein距离。通过引入了一个判别器来区分真假图像块的混合部分。大量的实验表明,与最当前的方法相比,我们的方法生成的图像质量更好,同时我们生成的数据能够提高人脸造假检测的性能。
Spotlight:
将换脸任务中的外观迁移问题表述为一个最优传输问题,并提出基于最优传输的外观迁移模型。它可以灵活地应用于最近的身份互换方法,从而产生更加多样性的结果。
我们提出通过神经最优传输计划估计来解决隐层空间中的最优传输问题,从而实现性能的提升和计算量的减少。
我们设计了一个混合再分割判别器,以区分真假混合图像块中的真实部分。这种分割对抗机制能够促使生成图像在像素空间和目标图像尽可能相似,从而显著提升换脸效果。
1. Face2Face Real-time Face Capture and Reenactment of RGB Videos
推荐理由:该工作为经典的人脸视频编辑方法,通过3D重建与渲染的方式,实现高质量人脸转换。该方法生成的视频有着高实时性与真实性。
2. FaceForensics++ Learning to Detect Manipulated Facial Images
推荐理由:该提出了新的人脸伪造的数据集,该数据集使用Face2Face,FaceSwap,DeepFakes和NeuralTextures四种方法创建。同时提出了人脸伪造视频检测的基准。
3. FSGAN Subject Agnostic Face Swapping and Reenactment
推荐理由:论文提出了一种新的换脸和再现(reenactment )的方法。FSGAN为较早提出的可以对任意图片和视频实现换脸操作,并取得了较好的生成质量。
4. High-Resolution Neural Face Swapping for Visual Effects
推荐理由:该工作第一次提出了一种在高分辨率的人脸交换的算法。作者引入了一种渐进式训练的多路网络和一种保光和保对比的混合方法。
5. FaceShifter Towards High Fidelity And Occlusion Aware Face Swapping
推荐理由:该工作提出了一个任意图片换脸框架。该框架提出了新的生成器,用于自适应地整合人脸合成的身份和属性。同时,提出了的启发式的错误感知优化网络(HEAR-Net)用于以自我监督的方式恢复遮挡区域。
6. SimSwap An Efficient Framework For High Fidelity Face Swapping
推荐理由:该工作旨在实现泛化和高保真的换脸任务。作者通过提出ID注入模块和弱特征匹配损失,有效的以隐式的方式保存人脸属性