侯赛辉：中国科学技术大学本硕博。2014年于中国科学技术大学自动化系获学士学位，现为中国科学技术大学三年级博士生，研究方向为深度学习与计算机视觉。他在计算机视觉视觉领域相关会议CVPR、ICCV、ECCV、AAAI上发表过多篇论文，主要研究通用图像分类、细粒度图像分类以及增量学习等视觉任务。
报告题目：Incremental Learning in Image Classification
报告摘要：近年来，基于深度卷积神经网络（DCNN）的图像分类方法获得快速的发展，但是在现实场景中类似于Imagenet上样本总数固定、每类样本充足的条件很难满足。在实际应用中，不同任务或者不同类别的数据往往是分批次到来的，当直接把DCNN在新数据上进行训练时，在旧数据上学到的知识很快会被遗忘，这种现象称为灾难性忘记（Catastrophic Forgetting）。增量学习的目标是提供一种学习策略，能够在分批到来的数据上训练得到一个模型（如DCNN）能够不同任务或者不同类别上表现良好。本次分享将分别介绍我们在图像分类中多任务增量学习和多类别增量学习的两个工作，围绕多任务增量学习提出了一种基于知识蒸馏和知识回顾的学习方法，围绕多类别增量学习从新旧样本不均衡的角度提出了一种学习框架，相对现有工作可以带来显著的性能提升。
Spotlight：
基于知识蒸馏和知识回顾的多任务增量学习方法；
多类别增量学习中新旧类别样本不均衡的分析和解决。
1. Distilling the Knowledge in a Neural Network
推荐理由：知识蒸馏的开山之作。在实际应用中，为了方便部署，通常需要将一个大网络（或者多个网络）的知识传递给一个小网络，作者提出一种在不同网络之间进行知识传递的方式，称为知识蒸馏。在相同输入的情况下，通过使小网络的输出和大网络的输出尽可能地接近从而模拟大网络的行为。此外，引入了一个参数T（temperature）使得大网络的输入变得平滑，更有利于小网络的学习。
2. Learning without Forgetting
推荐理由：首次将知识蒸馏引入多任务增量学习。在多任务增量学习的某一阶段，输入为在旧任务数据上训练的模型（称为Original CNN）和新任务的数据。在训练开始前，首先记录Original CNN以新任务数据作为输入的输出结果。在训练过程中，计算更新后的模型对于新任务数据在旧任务类别上的预测概率，使之接近于所记录的Original CNN的输出，通过这种方式保持在旧任务上的性能。
3. Incremental Classifier and Representation Learning
推荐理由：多类别增量学习代表性的工作。多类别增量学习相对于多任务增量学习更具有挑战性，在每个阶段需要在当前阶段观测到的所有类别之间进行判别。iCaRL在Learning without Forgetting的基础上引入了Nearest-Mean-of-Exemplars的分类策略，能够有效避免新旧样本之间的混淆。此外，提出为每个旧类别保留少量的样本，并提出基于Herding的方法在每个类别内选取样本进行保留。
4. Lifelong Learning via progressive distillation
推荐理由：将知识蒸馏用于多类别增量学习中新任务的学习。Learning without Forgetting中将知识蒸馏用于旧任务性能的保持，在这篇论文中提出将知识蒸馏用于新任务的学习。当一个新任务到来时，首先仅在新任务的数据训练一个模型称为Expert CNN，然后通过知识蒸馏的方式将新任务的知识从Expert CNN传递给Original CNN。通过这样方式可以使Original CNN学习新任务的知识变得更容易，同时也更有利于旧任务性能的保持。
5. Learning a Unified Classifier Incrementally via Rebalancing
推荐理由：从样本不均衡的角度解决多类别增量学习问题。通过研究发现新旧类别的样本不均衡容易造成判别时新旧类别之间的混淆，是影响多类别增量学习的重要因素。论文所提出的方法主要包含三个模块，从网络正则化以及分离类别边界等角度分别来缓解样本不均衡所带来的负面影响，在每个增量学习阶段都取得了较高的准确率。
