曹杰:中国科学院自动化研究所在读博士生。目前主要研究方向高清人脸生成和编辑。已在NeurIPS、TIFS、IJCAI、AAAI等多个机器学习和计算机视觉领域的国际期刊和会议上发表论文。
报告题目:面向高清人脸编辑的双相对抗学习
报告摘要:在人脸图像生成领域,对高清人脸图像进行编辑是一个非常具有挑战性的任务。已有的生成模型很难做到使生成图片兼具逼真的视觉效果和有效的身份信息。在当前阶段,主流的高清图像生成方法沿用多阶段生成的方式,逐级提升合成图像的分辨率,从而提高训练过程的稳定性和生成图像的质量。本次讲座将带大家回顾高清图像合成最近的发展历程,解读若干已有重要成果,并向大家介绍一种面向高清人脸编辑的双相对抗学习方法。
Spotlight:
高清图像合成;
高清人脸编辑;
双相对抗学习。
李佩佩:中国科学院大学自动化研究所在读博士生。目前主要研究方向为图像的生成与转换,具体探索了人脸年龄合成与估计、人脸旋转等。相关文章发表于IEEE TIFS, ICPR,此外还有三篇文章在投工作。
报告题目:Image-to-Image Translation
报告摘要:随着GAN与VAE等生成模型的提出与快速发展,图像生成与转换近几年成为了计算机视觉领域的热门方向,并得到了学术界和工业界的广泛关注。我们知道,年龄与姿态对一个人的外貌有很大的影响,同一个人、不同年龄(姿态)的人脸会有显著的差异,给人脸识别系统带来了严峻地挑战。本次报告将与大家分享一下图像转换在人脸年龄、姿态上的应用,以及如何通过图像转换来缓解年龄(姿态)对人脸识别的影响,并同大家共同探讨未来的发展趋势。
Spotlight:
人脸年龄图像合成与转换;
人脸年龄估计;
人脸旋转。
人脸图像合成技术越来越受到社会各界的关注。人脸图像合成技术不仅可以实现“换脸”、“人脸编辑”等娱乐效果,而且能够有效提高人脸识别等技术的性能。两位主讲嘉宾为大家精选了人脸图像合成中的几篇代表性的工作,和大家一起学习分享最新的研究进展。
1. PROGRESSIVE GROWING OF GANS FOR IMPROVED QUALITY, STABILITY, AND VARIATION
推荐理由:本文提出了PGGAN模型,并首次成功合成了视觉效果极为逼真的超高分辨率人脸图像。PGGAN的核心思想在于逐级生成图像,在训练过程中合成图像分辨率不断提高。模型中的生成器和判别器从生成44的图像开始,逐渐增加网络复杂度来适应更高的分辨率,最终达到10241024的图像生成。此外,本文提出了一个大规模的高清人脸数据库(CelebA-HQ),有效地解决了高清生成中的数据问题。
推荐理由来自:曹杰
2. High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs
推荐理由:本文提出了pix2pixHD,是对pix2pix进行改进从而支持生成高清的街景图像和人脸图像,最高分辨率可达2048*1024。文中提出了一种双阶段的训练方法并且通过实验证明两阶段的训练方式地大幅度地提高生成图像的质量。此外,文中还对生成网络的结构进行了进一步的扩展,支持交互式的条件图像生成。
推荐理由来自:曹杰
3. A Style-Based Generator Architecture for Generative Adversarial Networks
推荐理由:本文提出了一种可生成不同风格高清图像的生成式对抗网络,StyleGAN。主要的贡献在于设计了一种新颖的网络结构,让条件控制信息能够更顺利地表达高层语义特征,显著地提升当前条件生成式生成的最高水平。
推荐理由来自:曹杰
4. Learning Face Age Progression: A Pyramid Architecture of GANs
推荐理由:这是北航在CVPR2018上提出的基于金字塔GAN的年龄转换模型,效果十分惊艳,并提出了你那里估计、人脸验证等评估标准。在这之前的人脸年龄转换还只能实现局部人脸的转换,这篇文章首次实现了全脸的年龄转换,包括发际线的转换,极大推动了年龄生成的研究。如图1所示,第一列是输入的30岁以下的人脸图片,右侧三列依次是转换后的31-40,41-50以及50+的人脸图片,可以看出随着年龄的增长,头发逐渐变白,皱纹出现并逐渐加深,符合人类的认知。
Figure 1. 人脸年龄转换效果
Figure 2. 网络结构
推荐理由来自:李佩佩
5. Automatic Face Aging in Videos via Deep Reinforcement Learning
推荐理由:Code:https://face-aging.github.io/RL-VAP/
这篇文章发表于CVPR2019,首次实现视频人脸年龄转换,并提出了新的年龄图像数据库以及年龄视频数据库,目前图像数据库已经公开,而视频数据库尚未公开。该方法在传统的基于图像的人脸老化基础上,加入了a) 时序信息(由于是视频生成),b)使用了强化学习搜索最近邻,来辅助人脸老化。
Figure 3. 视频人脸年龄转换效果图。第四行是该方法生成的结果。
Figure 4. 网络结构
推荐理由来自:李佩佩
6. High Fidelity Face Manipulation with Extreme Pose and Expression
推荐理由: 这是近期放在Arxiv上的文章,效果相当惊艳,可以实现10241024分辨率的人脸姿态转换,并提出了一个高质量的人脸姿态数据库(60004000),这是目前人脸姿态转换里分辨率最高的生成结果与数据库。此外,文章提出了使用scratch图片来指导人脸姿态选择,可以实现姿态与表情同时变换,且生成了很好的细节。
Figure 5. 大图是生成的正脸/侧脸图,小图是输入的图片
Figure 6. 网络结构
推荐理由来自:李佩佩