直播时间：2022年3月6日（周日）20:00-21:00
傅泳淦：美国莱斯大学博士生，本科毕业于中国科学技术大学少年班学院，现导师为Yingyan Lin教授,主要研究方向是通过协同设计AI算法(剪枝，量化，神经网络搜索，对抗训练)和加速器架构，提升AI应用(分类，超分辨，语音识别)的高效性和鲁棒性，目前已在NeurIPS, ICML, ICLR, ICCV, MICRO等AI算法和架构会议中发表过10+篇一作论文。
报告题目：鲁棒彩票现象：藏在随机初始化神经网络中的鲁棒子网络
报告摘要：在随机初始化的神经网络中，隐藏着据有天生鲁棒性和准确率的子网络，即使没有经历过对抗训练，它们也能够和类似参数量且对抗训练后的模型达到一致的鲁棒性。这个现象反映出对抗训练对于提升模型的鲁棒性并不是不可或缺的，我们把这种子网络叫做鲁棒彩票(Robust Scratch Ticket)。为了更好的研究和应用鲁棒彩票现象，我们做了大量的实验去研究鲁棒彩票的存在性和性质，来理解神经网络鲁棒性和初始化和过参数化的关系。我们进一步发现了不同鲁棒彩票之间较差的对抗样本迁移性，并利用鲁棒彩票构造了一个简单有效的防御手段。我们的工作为研究神经网络彩票现象和鲁棒性的关系提供了一个新的角度。
论文题目：Drawing Robust Scratch Tickets: Subnetworks with Inborn Robustness Are Found within Randomly Initialized Networks
分享亮点：
1. 我们首次发现了鲁棒彩票的存在性，即在随机初始化的神经网络中，隐藏着据有天生鲁棒性和准确率的子网络；
2. 我们提出了一种通用方法来从随机初始化网络中搜索鲁棒彩票，并针对鲁棒彩票的存在性和其他性质做了详细的实验，来为神经网络的鲁棒性和初始化、过参数化的关系提供启发；
3. 我们发现了不同鲁棒彩票之间较差的对抗样本迁移性，并利用鲁棒彩票构造了一个简单有效的防御手段，来大幅增加给定神经网络的鲁棒性。
1. The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks [Jonathan Frankle, et al.]
这篇论文是ICLR 2019的最佳论文，发现了神经网络存在彩票现象，即一个过参数化的神经网络中存在子网络可以被单独训练而达到和原网络一致的准确率。
2. What’s Hidden in a Randomly Weighted Neural Network? [Vivek Ramanujan, et al.]
这篇伦文发现了随机初始化网络中的强彩票现象，即随机初始化网络中存在子网络可以不用被训练，而天生具有一定的准确率。
3. Explaining and Harnessing Adversarial Examples [Ian J. Goodfellow, et al.]
这篇论文是对抗性样本的开山之作，分析了对抗性样本的存在性并给出了生成对抗性样本的方法。
4. Towards Deep Learning Models Resistant to Adversarial Attacks [Aleksander Madry, et al.]
这篇论文提出了目前最常用的对抗性样本生成方法之一，以及SOTA对抗性学习方法，即在训练过程中即时生成对抗性样本来做数据增强。
5. Adversarial Robustness vs. Model Compression, or Both? [Shaokai Ye, et al.]
这篇论文分析了神经网络剪枝和鲁棒性之间的关系，发现简单地结合模型剪枝和对抗性训练会让鲁棒性下降。
6. Double-Win Quant: Aggressively Winning Robustness of Quantized Deep Neural Networks via Random Precision Training and Inference [Yonggan Fu, et al.]
这篇论文发现了同一神经网络在不同量化精度下具有较差的对抗性样本迁移性，并由此提出了一种随机精度推理方法来同时保证高效性和鲁棒性。
