商汤原创AI训练框架SenseParrots的成长之路

近些年，AI科技革命为世界和人们的生活带来巨大改变，而这一轮AI浪潮爆发的核心就是深度学习。2014年，商汤科技自主研发了深度学习训练框架SenseParrots，成为商汤发展原创AI技术的基石。

日前，在2019世界人工智能大会上举办的WAIC开发者日活动上，商汤科技联合创始人、香港中文大学-商汤科技联合实验室主任林达华，分享了《SenseParrots：AI计算平台从技术到价值之路》的主题演讲，讲述了商汤如何走上自研训练框架的道路，如何一步步地把它从一个技术框架发展为一个工业级的模型生产平台，为商汤以AI技术赋能百业提供有力的支撑。

如下为林达华演讲的重要部分节录：

女士们，先生们，各位朋友，早上好。感谢机器之心提供了这么好的机会，让对深度学习框架有兴趣的朋友在一起进行交流。我也非常荣幸能在这里和大家做分享。

今天，我想和大家讲一个故事，一个关于商汤原创的故事。在这个故事里，我希望和大家分享，我们如何走上自研训练框架的道路，如何一步步地把它从一个技术框架发展为一个工业级的模型生产平台，为商汤以AI技术赋能百业提供有力的支撑。

增长的算力和应用场景促进AI成功

让我们从身处的这个大时代讲起吧。正如我们在这个大会上可以见到，这几年AI科技革命已经给我们的世界、我们的生活带来了巨大的改变。

这一轮AI浪潮的爆发，在我看来，不是单一要素的结果。它是深度学习算法、以GPU为代表的高性能算力、以及大数据的积累，历史性地汇聚在一起而促成的。过去七八年深度学习波澜壮阔的发展历程中有几次重要的标志性事件：2012年AlexNet获得了图像识别的突破，并在当年ImageNet比赛夺冠；接下来，新的网络结构层出不穷，从VGG到ResNet，图像识别的准确率不断被刷新；到了2017年，深度学习在自然语言处理也取得了重大突破；2019，从零开始训练的AlphaGo Zero横空出世。这些事件，一次接一次地点燃了人们对AI的热情和憧憬。

当我们从一个大的时间尺度去观察，我们会发现，这些成就的背后，不仅仅是算法模型的改进，它也蕴含着另外一个重要的趋势，就是算力的指数增长。这几年，新模型所需要的算力持续增长，从AlexNet到AlphaGo Zero，短短几年，算力增长超过30万倍。

从某种意义上说，这几年AI的巨大成功，其实是指数增长的算力和有价值的应用场景发生连接的结果。而深度学习框架是这种连接背后最重要、最核心的技术支撑。

原创之路 异常艰辛

在这一轮AI科技浪潮中，商汤走到今天，成为一个领先的Al企业，核心在于两个字：原创。现在，深度学习可以说是家喻户晓，可是在七年前，这个名词还没有多少人知道。在2012年，整个CVPR接收的论文之中，只有两篇和深度学习有关，都是来自于我们实验室。2013年，ICCV有8篇深度学习相关的论文，6篇是来自我们。因此，我们在GTC 2016年被评为世界前十人工智能先锋实验室之一，也是亚洲唯一入选的。我想这段小历史很好地诠释了商汤的原创精神。

在我们最初探索深度学习的时候，没有TensorFlow，没有PyTorch，甚至没有GPU。我们需要手写C++程序来完成整个计算过程，训练一个模型需要一两个月。正是在这样的环境中，我们一步步开拓出深度学习的视觉应用之路；也正是因为经历了这样的艰辛，我们深切地认识到训练框架的核心意义，可以说，训练框架定义了算法研发的空间，框架的空间有多大，我们就能走多远；框架的能力有多强，我们就能走多快。

因此，从商汤创建之初，我们就决定了要研发自己的训练框架。这背后有三点考虑：第一，我们在研发过程中会有很多和社区不一样的需求，我们需要及时提供技术支持；第二，当我们有了自研的框架，在算法和技术上有底气选择自己的发展道路，而不受制于开源框架提供的能力；第三，我们希望在研发训练框架的过程中，不断建立我们在基础系统层面的核心技术积累，让我们不仅在算法层面也在系统层面走在前列。

我们把这个训练框架命名为SenseParrots，这个名字寄托了我们良好的祝愿，聪明美丽，又能自由飞翔。

SenseParrots破茧化蝶

从2014年到现在，将近5年时间，SenseParrots和商汤共同成长。在2015年，我们几乎和TensorFlow同时推出第一代SenseParrots在内部发布并投入使用，率先具备了多机多卡联合训练和多路径执行等领先业界的特性。

三年之后，第二代SenseParrots发布，这一代它不但具有了一系列更加重要的、灵活的、高性能的特性，而且也逐渐成为了商汤赋能AI产业的战略支撑。

第一代SenseParrots专注于静态网络多机多卡的优化。通过对计算调度、内存分配、数据IO、通信协同等联合深入优化，它在2015年发布时已经在静态卷积网络训练上展示了超越同时代开源框架的卓越性能。

通过极致的内存优化，SenseParrots可以在有限的显存里训练超大型的网络；通过通信和IO的优化，它实现了在64卡上接近线性的加速。

在这第一代SenseParrots上，我们训练了一个1207层卷积神经网络，这是已公开的最深的卷积神经网络；我们还研发了PolyNet，打破了当时单网络在ImageNet图像识别上的性能记录，并把这个记录保持了将近一年。有了这些性能强劲的网络支持，我们在ImageNet和ActivityNet等一系列比赛中取得多个冠军。

商汤目前已经建立了完整的平台技术栈，它从底而上分为四个层次。最底下是基础系统，主要提供存储、网络、任务调度、集群管理等基础的系统能力；在基础系统之上，我们建立了SenseParrots。第二代的SenseParrots已经从一个单一的训练系统，发展为一个具有全方位能力的AI模型生产体系。在这个体系里面，我们发展了一系列包括从表达、编译、调度、计算、通信、以及模型部署的一系列技术模块。在SenseParrots的支持上，我们建立了算法工具链，里面包含了商汤业务所需的各种基本算法组件；最上面一层，是各个垂直业务方向的应用平台。

深度学习走出实验室迈向产业落地

虽然我们取得了一些成绩。但是，AI的发展可谓一日千里。如果我们不能把握技术发展的脉络，就会落后于时代。

当时间来到2015年，深度学习这个领域也开始发生了很多深刻的变化。最重要的一个变化是深度学习技术开始走出实验室，迈向大规模的产业落地。在这个大趋势下，技术层面也呈现了很多新的趋势：

首先，编程模式从静态网络结构描述向动态计算过程转变，这让我们可以研究更灵活的算法，表达在工业级场景所需要的更复杂的逻辑。

第二，深度模型走出了实验室机房，落地到了更多样化的设备，比如手机、摄像头、汽车和机器人。

第三，大家的注意力开始从在各大比赛中刷榜，逐渐转到了更有价值的工作，在真正的产品中落地。我们不再不惜代价地追求大模型高精度，而是更多地关注性能和代价的平衡。这种新的追求催生了很多新的探索，比如像Mobile Net这样专为移动端设计的网络结构，又比如量化和模型压缩。

第四，人们开始关注生产力的价值，让AI去解决AI研发过程中的重复劳动。因此，各种自动化方法，比如自动设计网络结构、自动设计损失函数等等开始成为新的热点。

在这些繁花似锦的技术和应用创新背后，我们可以看到，AI的技术发展从单一的精度竞赛，变成了多元的价值追求。这是任何一项技术从实验室走向产业的必经之路。

AI产业化所带来的新技术趋势、更多元的追求，也给训练平台的未来发展提供了新的空间。

虽然在过去的几年，主流的开源框架比如TensorFlow和PyTorch的生态逐渐成熟，但是它们更多是面向普及应用的，它们所提供的能力和AI产业化的需求依然存在着很大的距离。

我们的愿景是让AI赋能百业，就不可避免需要面对上面的这些问题。对于SenseParrots来说，这是挑战，也是重要的机遇。

商汤经过近五年的发展，已经让AI技术深入落地到十几个行业，为数以百计的大型企业赋能。这种广泛而深入的落地实践，是AI计算平台研发的丰沃土壤，也是我们的独特优势。扎根在商汤的业务土壤，我们能在第一线深切了解到AI产业化的主要挑战和痛点，也走出了不同于主流开源框架的差异化道路。

我们的定位，是打造一个面向AI产业赋能的计算平台。具体来说，我们的平台有三个重要的研发目标：首先，全面支持业务范畴内的工业级应用，特别的是支持工业级模型，包括具有复杂逻辑的动态模型的大规模训练；第二，针对我们的业务场景，进行极致优化，建立产品级的核心竞争力；第三，我们也关注研究员的生产力，全面提高研发和产品迭代的速度。

因此，在第二代SenseParrots研发过程中，我们超越了对个别性能指标的追求，以更加全局的角度审视我们的发展路径，力求真正为AI产业赋能带来价值。我们憧憬十年之后，在我们的世界里AI将会无处不在，在这样的世界里，AI不会取代人类，它将在我们的生活，在我们的工作，在我们世界的方方面面，成为我们最可信赖的技术。我们正在朝着这样的愿景，朝着这样的目标努力，也希望与在座的各位共勉。

谢谢大家。