CVPR 2018 | 商汤科技论文详解：基于尺度-时间网格的视频中物体检测算法

图1：尺度-时间网格示意图

基于尺度-时间网格，本文的视频物体检测算法被分为以下3 个步骤：

1. 在稀疏的关键帧上(用基于静态图像的物体检测器)进行检测，得到稀疏节点上的结果;

2. 规划一条从上述稀疏的节点到稠密的节点的路径;

3. 基于上述路径将关键帧上的检测结果传播到中间帧，并进行位置修正。

   
   

尺度-时间网格的框架为算法提供了丰富的设计空间来平衡优化视频中物体检测精度和速度。检测所需要的总时间是路径中所有边的时间之和，包括单帧物体检测器的时间以及传播和修正所用的时间。可以通过对不同的边上分配不同的计算时间，来达到性能与时间上的期望平衡点。

图2：

尺度-时间网格中的时间传播网络(T)

和空间修正网络(S)

不同模块的实现

传播和修正单元(Propagation and Refinement Unit，PRU)

传播和修正单元(如图2所示)以相邻两个关键帧的结果作为输入，使用时间传播网络将结果传播到中间帧上，然后使用空间修正网络将结果进行空间位置上的修正。时间传播网络主要用于考虑视频中的运动信息，来预测两帧之间较大的位移。而空间修正模块则通过回归检测框位置的偏差，来修正检测框本来的误差和传播带来的误差。这两种操作不断迭代进行来获得最终的检测结果。

在时间传播网络中，算法使用两帧之间的运动历史图像(Motion History Image，MHI)来表示运动信息，将其输入到网络中，回归物体在这段时间内的位移。相对于光流等常用的运动表示，MHI 的计算速度非常快，使得空间传播网络能够保持较高的效率。

在空间修正网络中，算法采用与Fast R-CNN 相同的结构，以当前帧的 RGB 图像作为输入，来回归检测框的偏差。这两个小网络在训练时通过一个多任务的损失函数同时进行优化。

关键帧选取

关键帧的选取对最终的检测速度和准确率有着重要的影响。最简单直接的方法就是在时间轴上均匀地选取关键帧，之前的绝大多数方法也都采取了该策略。但本文考虑到帧与帧之间的信息冗余度不同，并不是每一帧都有同等重要的地位，所以需要一种非均匀的采样策略，在物体运动较快、传播难度大的时间段内多选取关键帧，反之则少选取关键帧。

具体过程如下：首先在均匀选取的非常稀疏的帧(例如每隔24帧)上进行单帧的物体检测，然后根据检测结果来衡量相邻两个关键帧之间传播的难易程度，如果难易程度低于某个阈值，则在这两帧之间插入一个额外的关键帧。计算难易程度时本文考虑了两个因素，即框的大小以及物体运动快慢，具体公式参见原文。

时间管道重打分(Tube Rescoring)

由于时间上的检测框传播，获得的检测结果并不是独立的逐帧结果，而是自然串联成一个个的物体时间管道(Object Tube)的，那么可以对这些物体时间管道来进行重新分类。本文训练了一个 R-CNN 作为分类器，对于每个物体时间管道，均匀选取其中 K 帧作为输入，以它们的平均值作为新的分类结果，根据新的分类结果来调整物体时间管道中每个框的分数。

实验结果

图3展示了本文基于尺度-时间网格算法的检测速度(fps)和准确率(mAP)的曲线，并和之前的方法进行比较。可以看到本文方法优于 baseline 和之前性能先进的方法。

图3：

不同视频中物体检测算法

检测速度和精度的比较

结论

针对视频中的物体检测，本文提出了尺度-时间网格这个灵活的框架，其提供了丰富的设计空间来解决如何平衡准确率和检测速度的挑战。该方法将单帧检测、时间传播、多尺度空间处理结合起来解决这个问题。实验结果展示了基于该框架的多种设计和配置，能够达到与当前先进性能方法近似的准确率，但检测速度则获得了大幅提高。该框架不仅可以用于物体检测，也可以应用在其他视频相关的任务，如物体分割、物体跟踪等。