图像/人脸补全问题的前世今生

SFFAI

1️⃣ 讲者介绍

宋林森：中科院自动化所的一名2018级的研究生，是智能感知与计算研究中心的一员。本科毕业于北京科技大学。目前的主要研究方向为图像补全特别是人脸补全。

报告题目：图像/人脸补全问题的前世今生

报告摘要：近年来，图像补全问题在应用深度学习技术的条件下已经实现了较好的补全效果，甚至于人眼也难以分辨。故而，该技术也已经成为图像补全问题上的一个研究热点。同时，如何修改对抗生成网络以使其更好的适应图像补全问题以及如何针对人脸补全这一子问题来构造更有效的生成模型已经得到了越来越多的关注。此次分享将简单介绍图像及人脸补全方法的历史发展，并在最后介绍我们在人脸补全问题上的一些工作。

Spotlight：

前深度学习时代的图像补全方法；
深度学习时代图像补全方法的发展；
我们在人脸补全问题上的最近的工作；
基于人脸几何信息理解的人脸补全与编辑。

2️⃣ 论文推荐

1. Free-Form Image Inpainting with Gated Convolution

该文章介绍的是针对有不规则遮挡的图片的补全的问题，是在NVIDIA的Partial Convolution方法上改进的方法。同时这篇文章提出的Gated Convolution方法还可以手动地输入sketch(几何形状信息)信息来指导图片的补全。最终，Gated Convolution方法不仅取得了比Partial Convolution更好的补全结果，同时可以依据手动输入的几何信息获得更丰富的输出补全图像。

2. Image Inpainting for Irregular Holes Using Partial Convolutions

该文章将卷积操作进行了一定的修改，使之更加适合图像补全的任务。之前的图像补全的做法都是先将缺失部分使用白色像素/随机的像素填上，再使用包含普通的卷积操作的GAN将之生成为补全图像。实际上，把填充的白色/随机像素与真实的像素使用同样的方法卷积是不合理的，文中提出的Partial Convolution就是将这两种像素进行区分处理的一种较好的方法。

3. Semi-parametric Image Synthesis

该文章将参数的方法与非参数的方法结合起来了用于从语义分割图到自然图片的生成，因此被称之为semi-parametric image synthesis (SIMS). 在实际的做法中，将建立一个image segment的数据库，非参数方法的部分就是从这一个数据库中找到匹配的片段放入layout中进行拼接；第二步是在拼接后的图片将拼接缝隙进行补全填充，这一步是通过网络完成的。

4. Mutual Information Neural Estimation

文章主要是将mutual information与深度神经网络结合起来了。其目的是解决GAN的mode collapse问题，改进bi-directional adversarial model以及改进information bottleneck。文中通过增加mutual information约束来实现上述目的，并且证明了该下界约束是可求导反传，一致收敛的作为理论上的保证。

5. Progressive Growing of GANs for Improved Quality, Stability, and Variation

该文章提出了一种训练GAN的方法，可以使得GAN的训练更加稳定，并且减少训练的时间，主要的思想就是不断的增加generator与discriminator的网络的层数使得GAN生成分辨率越来越高的图像。最终甚至可以生成1024*1024的高清图像。

6. Self-Attention Generative Adversarial Networks

该文章是对于GAN的一个改进，系GAN的原作者的文章。在GAN中存在这样的一个问题：对于在空间上分离的区域的相似的纹理处理的不好，文中举例：例如一只狗的不同的脚在图片的空间上是分开的，但是这些脚有不同的纹理，在生成的时候出于卷积操作处理的时候是卷积核的区域，所以它更擅长生成空间上位置接近的纹理。文中提出的Self-attention+GAN的方法的attention将会对feature maps有对应的attention来关注类似的纹理，从而克服空间上的障碍。

录播视频 / 推荐论文下载 / 讲者PPT 登录后获取查看地址

此内容登录并刷新后可见

宋林森

图像/人脸补全问题的前世今生

导读

近年来，图像补全问题在应用深度学习技术的条件下已经实现了较好的补全效果，甚至于人眼也难以分辨。故而，该技术也已经成为图像补全问题上的一个研究热点。同时，如何修改对抗生成网络以使其更好的适应图像补全问题来构造更有效的生成模型已经得到了越来越多的关注。人脸补全作为图片补全问题的一个分支，是一种常见的人脸图像编辑技术，它也可以用来编辑人脸属性。生成的人脸图像既可以与原始人脸图像一样精确，也可以与未遮挡人脸图像在内容上保持一致，以使补全的图像看起来具有真实的视觉感受。

正文

1. Introduction

图像补全，即是将图片中缺失的像素补充上, 目的是使得没有看过这原图像的观察者无法察觉出这其实是补全的图像. 有时为了移除图像中的一些物体, 会手动地将这些物体遮挡起来进行补全. 一般来说, 按照补全的难易程度可以将该问题分成两类: (1) 补全较小的区域 —— 细缝, 文字等; (2)补全较大的区域 —— 整块的缺失图片. 如下图所示:

传统的方法通过将信息从缺失位置的外部一步步向缺失区域传播的方法已经可以较好地补全较小的区域, 但是在面对较大的缺失区域时就不灵了, 这时深度学习方法对此类又较大区域缺失的图片补全的较好. 下面介绍几个经典的深度学习的图像补全方法.

2. Method

首先是2016年的Context Encoder[1]方法, 该方法设计了了一个Encoder-Decoder结构的神经网络从遮挡图像的未遮挡部分来推断遮挡部分的信息, 具体的网络结构如下图所示:

该方法的损失函数的设计包含生成图片真伪性的判别损失以及缺失区域的按像素的重建损失. 该方法生成的图片整体上看生成的效果还可以, 但是仔细观察补全区域就会发现其效果比较差了. 所以人们增加设计了针对补全区域的判别器.

Globally and Locally Consistent ImageCompletion[2]就是增加设计了针对补全区域的判别器的一种网络, 具体的结构如下:

该方法的损失函数包含全局与局部判别损失以及重建损失, 不仅在补全区域的细节方面生成的比较好, 而且还可以通过巧妙地设计损失处理不规则的遮挡区域. 一些效果如下图:

为了更好的利用图片中的冗余信息, 一些利用Attention的方法来增强图像补全效果的方法也相继提出来了. Generative image inpainting with contextual attention[3]就是先利用神经网络补全图片后, 再在未遮挡区域寻找与遮挡区域中相似的图片块, 整体的网络结构如下:

该方法的精髓在于其中的refinement network. 具体的说, 该方法将卷积看成模版匹配过程, 通过foreground(遮挡区域)与background(未遮挡区域)的patch卷积来在background中寻找与foreground的patch相似的patch. 如下图所示

该方法使用卷积的方法计算patch的相似度, 不仅编程变得容易了, 而且利用享有框架计算相似度的时间也减少了.

在使用深度学习方法进行图片补全的时候, 一般将缺失的区域使用白色或者是随机噪声来填充, 再使用卷积层来提取上下文特征以及后续的补全. 白色/随机噪声本来没有有效信息, 对它们与有效的信息不加区别的卷积并不合理, 这样的补全结果会出现一些副作用, 如下图所示:

为了解决这一副作用, Nvidia提出了Partial Convolution[4]通过修改卷积操作来改进图片补全, 具体而言, Partial Convolution的计算公式如下:

式中的W是卷积核, X是一个卷积核上对应的图片内容, M是一个卷积核上的含遮挡信息的Mask矩阵, 元素只含0,1; 右边的m’就是每层更新Mask矩阵的方法. 该方法的一些补全效果如图:

上述的Partial Convolution方法虽然不全效果好, 但是随着网络层数的增加, 器Mask矩阵中的遮挡的部分会越来越萎缩, 到最后每一层的Mask矩阵就认为没有遮挡了, Free-Form Image Inpainting with Gated Convolution[5] 则在此基础上进行了改进, 将Partial Conv方法的Mask更新改为从图片中学习, 并不再将Mask中元素的值固定为0,1而是取自[0,1]. 二者的比较见下图:

这的一提的是该方法不仅补全的效果好, 还支持user-guided image inpainting. 如下图:

3. Take Home Message

现在的图片补全方法主要以GAN为基础

现阶段热点问题: 高分辨率图片, 复杂不规则遮挡的补全

4. Reference

[1] Pathak, Deepak, et al.2016. Context encoders: Feature learning by inpainting. In CVPR

[2] Iizuka, Satoshi, EdgarSimo-Serra, and Hiroshi Ishikawa. 2017. Globally and locally consistent imagecompletion. In SIGGRAPH

[3] Yu, Jiahui, et al.2018. Generative image inpainting with contextual attention. In CVPR

[4] Liu, Guilin, et al.2018. Image inpainting for irregular holes using partial convolutions. In ECCV.

[5] Yu Jiahui et al. 2018.Free-Form Image Inpainting with Gated Convolution. arXiv preprintarXiv:1806.03589

版权声明

原创文章，禁止私自转载