深度 | 旷视人工智能算法平台Brain++凭什么在乌镇互联网大会获奖?

来源:日期:2019-11-06 23:08 浏览:

原标题:深度 | 旷视人工智能算法平台Brain++凭什么在乌镇互联网大会获奖?

10月20日-22日,第六届世界互联网大会在中国乌镇召开。在此次大会的重头戏“世界互联网领先科技成果”发布活动上,人工智能独角兽旷视发布了名为Brain++的人工智能算法平台。据旷视联合创始人兼首席技术官唐文斌介绍,Brain++是“一套端到端的AI算法平台,目标是让研发人员获得从数据到算法产业化的一揽子技术能力,不用重复造轮子也可以推进AI快速落地。我们的Brain++还引入了AutoML技术,可以让算法来训练算法,让AI来创造AI。”

如果说算法模型是果实,那么开发它的环境和框架就是培育果树的土壤。尽管平时在开发中,框架和底层环境没有那么引人瞩目,但没有这些底层技术的支持,优秀的思路和创意也就无从实现。当前,深度学习社区基本被 TensorFlow 和 PyTorch 两大框架垄断。开源框架固然具有很高的人气和易用性,但是在国际环境变幻莫测的大背景下,依赖这些框架是否足够保险呢?同时,如果企业有新的想法和业务需求,开源框架能否完美实现?是否能够无缝嵌入业务之中?这些都是 AI 企业需要思考的问题。

为此旷视从 2014 年开始自研深度学习框架,到现如今构建了一整套围绕 AI 开发的整体系统。很多人会误以为这仅仅只是旷视的一个深度学习框架,或者是企业内部开发的云计算平台。而事实上,Brain++ 在旷视内部已成为了支撑算法研究和开发的整体基础底层平台。

展开全文

Brain++ 涵盖了深度学习算法开发的整个流程

具体而言,Brain++涵盖了深度学习算法开发的所有环节。从数据的获取、清洗、预处理、标注和存储开始,到研究人员设计算法架构、设计实验环节、搭建训练环境、训练、加速、调参、模型效果评估和产生模型,到最终的模型分发和部署应用,Brain++为旷视的研发人员提供了一站式全流程的 AI 工程解决方案。

总体架构上,Brain++可以大体分为三部分,包括作为主体的深度学习算法开发框架MegEngine、提供算力支持的MegCompute、以及用于提供数据服务和支持的MegData。

Brain++人工智能算法平台在旷视内部被全体员工使用。旷视在2017年拿下3项COCO冠军,2018年拿下4项COCO冠军,以及今年发布了全新的通用物体检测数据集Objects365,都与Brain++的功劳密不可分。

MegEngine:极致性能

MegEngine的整体架构

MegEngine是基于计算图像的深度学习框架,相比于开源的大部分深度学习框架,MegEngine具有以下优势:

  • 运算速度快:MegEngine拥有动态、静态结合的内存优化机制,因此速度比 TensorFlow 更快;
  • 内存占用少:通过分析整个执行方案的内存使用情况,MegEngine充分优化内存,特别是亚线性内存优化,可以支持复杂的网络结构,自动利用部分冗余计算缩减内存占用,可达两个数量级,从而支持更大规模的模型训练;
  • 易用性好:MegEngine封装了平台细节,易于新人用户快速上手;
  • 支持多种硬件平台和异构计算:MegEngine支持通用 CPU、GPU、FPGA 以及其他移动设备端硬件,可多卡多机进行训练;
  • 训练部署一体化:整个框架既可用于训练又同时支持推理,实现模型一次训练,多设备部署,避免复杂的转换过程造成的性能下降和精度损失。

另外,MegEngine 还集成了旷视最新的AutoML技术,对深度学习算法的各个关键环节进行自动化的设计、搜索和优化。这项技术以One-Shot方法为核心,通过一次训练完成自动化过程,将计算代价减小至传统AutoML方法的万分之一,在可控的时间内搜索出高性能、易部署的模型结构。

旷视AutoML技术图示

相比于市场上的AutoML技术,旷视的AutoML技术有以下优势:

  • 计算代价小。传统的AutoML技术常常需要多次训练模型甚至会遍历部分模型空间,计算代价巨大。旷视的AutoML技术只需训练一次即可得到整个模型空间的刻画,大大减小了计算代价,只是平常训练代价的1-3倍。
  • 应用范围广。旷视AutoML技术提供了一套完整的解决方案,覆盖了大部分业务,包括活体检测、人脸识别、物体检测、语义分割等。
  • 部署方便。旷视AutoML技术涵盖了数据处理、模型训练、模型压缩、模型量化等流程,自动处理从数据到落地。
  • 精度高。旷视AutoML技术在诸多视觉任务上,超过人类手工设计,达到了业界最优。

有了性能极佳的深度学习框架和全面的数据平台支持,Brain++也需要强大的算力支撑才能发挥完全的能力。深度学习框架的基础之上,旷视开发出了支撑整个平台计算的系统,被称为MegCompute。

MegCompute 平台的整体架构

这是一个包括了硬件基础设施、数据存储和计算调度的平台,用于协助研究人员部署训练环境、设计训练流程、提供算力和资源分配服务、监控实验进程、提供可视化效果展示、管理用户权限、存储数据等。

MegCompute有以下几大特点:

  • 性能强大:MegCompute有丰富的GPU计算资源,同时也支持各类硬件,可灵活高效地分配计算任务。
  • 全流程覆盖:MegCompute支持模型构建的全部流程环节,让研究人员能够实现一站式的业务应用服务,满足工业级的AI能力研发测试、部署上线和业务生产方面的工作。
  • 弹性部署:MegCompute采用了Docker容器技术,可以让用户弹性化地构建部署训练环境,在不需要使用的时候直接销毁,使得资源可以及时释放给其他用户,具有非常弹性的特点。
  • 用户友好:用户使用过程中,通过可视化界面进行环境搭建和训练设计方面的工作,也可以通过可视化的方式查看模型测试的结果,不需要关注太多的底层技术细节,使用非常方便。
  • 支持多种深度学习框架:除了和MegEngine自研深度学习框架紧密结合外,MegCompute也支持使用TensorFlow和PyTorch。

在构建模型的时候,也需要大量的数据支持。Brain++中的MegData负责提供数据方面的服务,主要包括四个方面:1)数据管理;2)数据标注;3)数据处理;4)数据安全。

旷视Brain++的核心组件 MegData

旷视在研发过程中需要使用大量的图像数据,因此需要一个综合平台提供管理、标注、处理和存储安全相关的服务。根据旷视介绍,MegData可以提供完整的数据服务,为用户提供了全流程的解决方案。

在标注方面,MegData提供了数据标注相关的服务,将人工标注和辅助算法相结合,提升标注效率。经过多次的业务打磨,MegData平台现已拥有全生命周期的项目管理平台,进一步实现AI助力,解放人工。另外,MegData还将旷视原创算法引入标注平台中,利用数据辅助算法实现标注效率的大幅提升。这些标注算法都是基于云的,可以伸缩和扩展。

在自动标注上,旷视采用了很多算法。比如,使用聚类算法,旷视可以使某项标注任务的成本下降为原有的10%。一些标注任务通过算法辅助验收,效率提升150%以上。

相比于其他同类平台,MegData在数据层面为AI模型研究提供了安全、高效的数据存储和处理方式。同时,由于它是基于云的,具有很高的灵活性。最后,MegData补全了AI算法研发中数据处理的缺失环节,使研发人员不需要花太多精力在数据层面,很大程度上提升了效率,节省了时间和研发成本。

总体而言,虽然不似其他两个Brain++模块那样引人关注,但是MegData在系统中发挥着重要的功能,负责完成了深度学习训练前很大一部分的数据管理、处理、标注和安全的工作。这些都是整个流程环节必不可少的。

总结来看,Brain++人工智能算法平台凸显了旷视在技术开发上的三个趋势。首先,Brain++完全是自主研发的深度学习系统,涵盖了AI业务的整体流程。这说明旷视能够完全掌握核心的研发工具和平台。另外,旷视Brain++是为计算机视觉场景而专门研发的,这是一个以业务为导向的专业AI服务系统,因此旷视可以拿出很多精力,针对业务中的需求提出专门的解决方案,而新方法可以快速在实际应用中得到测试和验证,通过业务驱动框架的发展。

由于旷视对Brain++本身具有完整的掌握能力,并且通过计算机视觉相关场景驱动 Brain++的发展,因此它的迭代速度非常快。当前,新算法层出不穷,企业急需能够快速实现算法的人工智能平台,能够迅速将新方法投入实际的生产中,Brain++是一个很好的参考范例。

首页
电话
短信
联系