入选AAAI 2020，全新视频语义分割和光流联合学习算法问世

隔离疫情不隔离学习，读论文也是很好的在家“充电”方式之一。

今日，第34届人工智能顶级会议AAAI 2020正式开幕(2月7日-2月12日在美国纽约举办)。AAAI(Association for the Advance of Artificial Intelligence——美国人工智能协会)是人工智能领域的主要学术组织之一，其年会每年都吸引了大量来自学术界和产业界的研究员、开发者投稿，参会。

商汤科技研究团队发表论文《Every Frame Counts: Joint Learning of Video Segmentation and Optical Flow》，创新性地将视频语义分割和光流方法融合，极大提升了视频分割的准确率和效率，该论文也被AAAI 2020录用。这种方法在自动驾驶、机器人、人体姿态识别、AR特效等诸多场景均有广泛应用前景。

那么这篇论文到底有哪些创新呢?下面一一解读。

▎打破现有方法局限

现有的视频语义分割方法，是利用前后帧的语义信息预测运动轨迹来分割，这种方法面临两大挑战：

• 准确率低。视频标注不如图像标注那样每一帧都会标注，一个视频片段往往只标注一帧，现有方法难以利用全部的数据，导致分割的准确率较低。

• 效率低。由于对前后帧之间进行信息交互往往为模型引入额外的模块，导致视频分割效率低。

商汤在研究中改进了这些不足，提出了一个光流和语义分割联合学习的框架。

图1：现有方法和商汤算法比较

现有方法往往使用Feature aggregation将多帧信息融合到一起，然而这种方案仅仅利用了标注帧附近的少数帧(t, t-1, t+1)而且极大增加了网络的计算时间。

本文的方法使用Temporal consistent constraint(时序一致性约束)为多帧的特征之间添加隐式约束，在不增加耗时的前提下利用更多数据学习到更鲁棒的特征。

本文提出的联合学习框架(如图2)，输入图片经过共享编码器后分为两个分支，上半部分是光流分支，下半部分是分割分支，以及时序一致性模块(黄色)和遮挡估计模块(灰色)。

图2：光流和语义分割联合学习框架

▎语义分割和光流相辅相成

本论文的语义分割和光流是相辅相成的，语义分割为光流和遮挡估计提供了更丰富的语义信息，而非遮挡的光流保证了语义分割的像素级别的时序一致性。

值得一提的是，通过光流施加的约束并没有显式的特征融合，而是隐式约束。在训练网络模型时需要分割和光流，但实际测试、应用的时候只需要分割。

这种方法可帮助利用数据集中的全部数据并学到更鲁棒的分割特征以提高分割准确率，并且不会在测试阶段增加额外的计算量。

但是，使用光流方法也会产生新的问题：遮挡。如下图，行人过马路时把后面的树挡住。那么如何更准确预估遮挡部分背景呢?