让机器学会阅读文字一直以来是人们追求的目标，阅读的过程可以分为文本检测与识别两个部分，其中识别部分是将图片中的文字转录成计算机可以编辑的文本格式。虽然近年来扫描文档的识别取得了很好的性能，但由于场景中文字的多样性、背景的复杂性等，识别自然场景中的文字依旧是一个有挑战的任务。本期论坛我们将分享两篇分别发表在AAAI2020和CVPR2020上的两篇场景图像文字识别的新工作。

1️⃣ 讲者介绍

乔峙：中国科学院信息工程研究所第三研究室在读硕士生，导师为周宇副研究员。2018年本科毕业于吉林大学。主要研究方向为场景文字检测与识别，曾在CVPR上发表一作论文。

报告题目：基于语义强化编码器解码器框架的场景文字识别方法

报告摘要：近年来，主流的场景文本识别方法大多基于注意力机制的编码器解码器框架，并取得了非常好的性能，能够处理任意形状的文本。但是对于一些如模糊，遮挡，有不完整字符的低质量文本图片，现有的方法依旧很难处理。我们认为这是由于基于注意力机制的方法会更加集中于局部特征，而忽略了图片中整个文本的全局信息，从而缺乏一个有效的引导。本次报告将介绍我们小组发表于CVPR2020上的工作，基于语义强化编码器解码器框架(Semantics Enhanced Encoder-Decoder Framework, SEED)的场景文字识别方法。在现有注意力机制的框架下，SEED通过预测一个全局的语义信息来指导解码过程，同时对全局语义信息进行有效的监督。我们将提出的框架应用到现有识别方法ASTER中，在目前公开的数据集上性能都有明显的提升。

Spotlight：

对目前将语义信息与文字方面任务结合的工作进行简述；
介绍语义强化的编码器解码器框架；
介绍提出的框架在现有识别方法ASTER上的应用。

2️⃣ 讲者介绍

何明航：华中科技大学电信学院在读硕士，VLR实验室成员，导师为白翔教授。主要研究兴趣包括文字检测和识别。曾在TPAMI，AAAI上发表论文。

报告题目：基于分割的文字识别方法

报告摘要：近年来由于深度学习的兴起和海量数据的驱动，场景文字识别领域取得了快速的发展，现在比较流行的文字识别的方法采用的是RNN attention的结构，取得显著的识别结果的同时这种结构也有一些缺点，比如在长文本，低质量的文本上容易出现attention的累计误差(attention drift)，引起识别错误。最近出现了一种使用分割网络来做文字识别的方法，采用的模型很小而且易于训练，但是后处理过程中涉及到取阈值和找连通域的操作，在一些排列紧密，或者较模糊的文字区域容易造成漏字和多字，另外该网络需要字符级别的监督才能正常训练。

我们在AAAI-20的文章中提出了新的识别模型——TextScanner，同样以分割的方法为基础，在此之上加入了一个简单的排序分支，保证文字中的字符以正确的顺序读取，并大大减轻了上述的分割为基础的识别方法中漏字，多字的问题。除此之外，我们引入了一种新的机制——mutual supervision，使得TextScanner在合成数据上预训练之后，可以用弱监督的方式在没有字符级别监督的真实数据上继续训练。

Spotlight：