申请试用
登录
核心技术
以原创技术体系为根基,SenseCore商汤AI大装置为核心基座,布局多领域、多方向前沿研究,
快速打通AI在各个垂直场景中的应用,向行业赋能。

港中文开源视频动作分析库MMAction,目标检测库算法大更新

2019-06-20

OpenMMLab 计划是香港中文大学多媒体实验室(MMLab)2018 年启动的计划,由香港中文大学教授、商汤科技联合创始人林达华老师负责,初衷是「为计算机视觉的一些重要方向建立统一而开放的代码库,并不断把新的算法沉淀其中。」

2018 年 10 月,在 OpenMMLab 的首期计划中,商汤和港中文正式开源了 mmdetection,这是一个基于 PyTorch 的开源目标检测工具包。该工具包支持 Mask RCNN 等多种流行的检测框架,读者可在 PyTorch 环境下测试不同的预训练模型及训练新的检测分割模型。

昨日,林达华发表知乎文章,发布 OpenMMLab 第二期内容: 

  1. MMDetection(目标检测库)升级到 1.0,提供了一大批新的算法实现。

  2. MMAction(动作识别和检测库)全新发布。

MMDetection 1.0

Github 地址:open-mmlab/mmdetectiongithub.com 

最新的 MMDetection 是 MMLab 联合商汤科技以及十多个研究团队合作完成的。据介绍,相较于其他开源数据库,MMDetection 1.0 的优势如下:

  1. 高度模块化的设计。通过不同检测算法流程的分解,形成一系列可定制的模块。然后对这些模块进行随机组合,可以迅速搭建不同的检测框架。

  2. 多种算法框架支持。MMDetection 直接支持多种主流的目标检测与实例分割的算法框架,包括 single-stage、two-stage、multi-stage 等多种典型架构,以及各种新型模块。此外,MMDetection 还提供了 200 多个预训练的模型。

  3. 高计算性能。MMDetection 所支持的主要模块均能在 GPU 上运行。整体的训练速度优于 Detectron、maskrcnn-benchmark、以及 SimpleDet。特别值得一提的是,MMDetection 还直接支持混合精度训练以及多卡联合训练,这些技术的引入都能显著提高训练的效率。

  4. 先进算法。MMDetection 提供了在 MSCOCO 2018 比赛中夺冠的 HTC 算法。随着越来越多研究团队加入到 mmdetection 的开发中,MMLab 研究团队将持续保持和最新算法的同步。

此外,MMLab 也发布了一份技术报告,对 MMDetection 进行了详细介绍。

5dbad6312676e.jpg

从机构名称中,我们可以发现 MMDetection 的发布联合了国内外 13 所机构。

报告链接:https://arxiv.org/abs/1901.11356

该报告还提供了 MMDetection 与其他开源库的对比,可以看到 MMDetection 提供的算法远比其他开源库丰富:

5dbad64bd305a.jpg

MMDetection 与其他开源库的对比

MMLab 的研究团队还在 MMDetection 的基础上对相关算法进行了全方位的对比试验。他们比较了损失函数、归一化策略、训练尺度等一系列设计参数的选择对于检测性能的影响。

视频动作分析库 MMAction

林达华介绍道,「在深度学习刚刚开始进入计算机视觉领域的时候,MMLab 已经开始了对使用深度学习进行视频动作分析的研究,提出了一系列有影响的算法框架。比如,我们在 ECCV 2016 提出的时序分段网络(Temporal Segmental Network)已经被广泛运用于实际系统中,并影响了很多新的算法设计。」

基于过去几年的探索,MMLab 建立了专门用于视频动作分析的统一代码库 MMAction。

项目地址:https://github.com/open-mmlab/mmaction

据介绍,MMAction 有以下重要优点:

  1. 全面支持视频动作分析的各种任务,包括动作识别(action recognition)、时域动作检测(temporal action detection)以及时空动作检测(spatial-temporal action detection)。

  2. 支持多种流行的数据集,包括 Kinetics、THUMOS、UCF101、ActivityNet、Something-Something、以及 AVA 等。

  3. 已实现多种动作分析算法框架,包括 TSN、I3D、SSN、以及新的 spatial-temporal action detection 方法。MMAction 还通过 Model Zoo 提供了多个预训练模型,以及它们在不同数据集上的性能指标。

  4. 采用高度模块化设计。用户可以根据需要对不同模块,比如 backbone 网络、采样方案等等进行灵活重组,以满足不同的应用需要。