罗正雄:中科院自动化所智能感知与计算中心博士生,主要研究方向为图像超分辨率和人体姿态估计,目前已在ECCV、ICPR、NIPS上发表论文三篇。
报告题目:基于展开交替优化的盲超分算法
报告摘要:以往的盲超分算法将盲超分辨问题分解为两个步骤:一是根据给定的低分辨率图像估计模糊核,二是基于估计核的恢复超分图像。这两步走的解决方案涉及两个独立训练的模型,它们可能彼此不太兼容。即第一步估计误差即使很小,也会导致第二步的性能下降。另一方面,第一步只能利用低分辨图像中的有限信息,这使得预测高精度模糊核变得困难。针对这些问题,我们采用交替优化算法,可以在单个模型中估计模糊核和恢复超分图像,而不是单独考虑这两个步骤。具体地,我们设计了两个卷积神经模块,即超分模块和估计模块。超分模块基于预测的模糊核恢复超分图像,估计模块利用恢复后的超分图像估计模糊核。我们交替使用这两个模块,并展开这一优化过程,形成一个端到端的可训练网络。以这种方式,估计模块可以利用低分辨率图像和超分图像的信息,使得模糊核的估计更容易。更为重要的是,超分模块和估计模块可以同步训练,使得超分模块就可以对模糊核估计误差更鲁棒。在合成数据集和真实图像的大量实验表明,该模型在很大程度上优于最新的方法。源代码地址: https://github.com/greatlog/DAN.git。
Spotlight:
我们使用交替优化算法,同步求解盲超分问题中的模糊核和超分图像,使得超分模块和模糊核估计模块可以在一个网络里优化,让他们彼此更加兼容。
我们设计了两个卷积神经网络来分别求解模糊核和超分图像,他们可以交替使用来形成一个端到端的网络。这也是第一个可以端到端求解盲超分问题的网络。
在合成数据和真水数据上的实验都表明,我们的方法有更好的结果。
1. Bayesian Image Super-Resolution
推荐理由:该论文从概率论的角度对盲超分问题做了较为严谨的建模,可以帮助我们加深对盲超分问题的理解。
2. Nonparametric Blind Super-Resolution
推荐理由:该论文对图像的降质过程做了建模,并依赖这一模型提出了一种不依赖成对数据求解模糊核的方法。这一方法对我们认识图像降质过程很有帮助。
3. Deblurring Text Images via L0-Regularized Intensity and Gradient Prior
推荐理由:该论文使用L0正则项来做模糊核估计,取得了不错了效果,是盲超分中经常用来做模糊核估计的算法。
4. Deep Unfolding Network for Image Super-Resolution
推荐理由:作者Kai Zhang提出了一系列非盲超分算法,可以根据给定的模糊核求解超分结果。该论文是Kai Zhang最CVPR2020最新的关于非盲超分的论文。
5. Blind Super-Resolution Kernel Estimation using an Internal-GAN
推荐理由:该论文提出了一种使用对抗训练的做模糊核估计的方法,和其他的非盲超分方法结合可以取得比较好的效果。该论文还给出了一个自己的盲超分测试数据集,可用作benchmark。
6. Blind Super-Resolution With Iterative Kernel Correction
推荐理由:该论文提出了一种盲超分算法,使用了三个模型,虽然方法比较繁琐,但是能取得很不错的效果。论文也给出了自己的盲超分测试数据集,可用作benchmark。