3月28日，地平线机械人技巧公司开创人余凯博士、亚马逊AWS机械进修总监Alex Smola、亚马逊AWS处理计划架构师邓明轩和地平线机械人技巧公司算法副总裁黄畅，在地平线和雷锋网结合主办的“年夜牛课堂”上做了出色分享。个中Alex Smola做了“应用MXNet完成疾速、可扩大、定制化深度进修”的主题演讲，依据现场灌音和PPT做了不转变原意编译。 Alex Smola于1996年卒业于慕尼黑工业年夜学，获物理学硕士学位，1998年在柏林工业年夜学获得盘算机迷信博士学位。以后，他在澳年夜利亚国立年夜学担负研讨院和研讨小组组长。2004-2008年，Alex Smola在NICTA研讨中间统计机械进修项目担负项目担任人，2008-2012年在雅虎的从事研讨任务，2012-2014参加谷歌从事研讨任务，2013年参加卡内基·梅隆年夜学担负传授，2015年，他创建了Marianas试验室，2016年，Alex参加亚马逊，今朝担负亚马逊AWS的机械进修总监。迄今为止，Alex共揭橥跨越200篇论文并介入编写多本学术专著。 1. 深度进修让一切变得更轻易 演讲一开端，Alex就提出了一个成绩，“为何我们如今要做深度进修？”在他看来，最重要的缘由有两点：海量的数据和盘算才能的年夜幅晋升。现在，数据曾经可以很轻易获得，而盘算才能的晋升则是因为GPU在深度进修范畴的运用。 从游戏“FizzBuzz”说起 接着，Alex罗列了一个例子——FizzBuzz，这是一种用来教诲小先生除法的游戏：从1数到100，假如碰见了3的倍数要说Fizz，5的倍数到说Buzz，假如等于3的倍数又是5的倍数要说FizzBuzz。 亚马逊机械进修总监Alex Smola：TensorFlow、Caffe等曾经存在，为什么还须要MXNet？ 假如要经由过程编程办法来完成，那末须要师长教师成练习数据，然后提取输出数据的特点，然后再练习一个分类器，让输出可以或许映照出响应的输入，这一切看起来仿佛异常愚昧。 亚马逊机械进修总监Alex Smola：TensorFlow、Caffe等曾经存在，为什么还须要MXNet？ 然则Alex以为，假如你有了“真实的数据”，这实际上是长短常有效的。好比训经由过程一台小型摄像机来辨认猫和狗，这个进程异常庞杂，并且没法像之前一样写出代码，然则却有许多样本数据可供应用，可以用来练习estimator（剖断器），然后可以基于这些数据搭建一个模子。 亚马逊机械进修总监Alex Smola：TensorFlow、Caffe等曾经存在，为什么还须要MXNet？ 而经由过程MXNet，你所须要做的仅仅只要界说输出数据，挪用MXNet的“fully connected layer”，最初取得Softmax输入。而MXNet会替你做好数据迭代、加载剧本、和练习轮回。 亚马逊机械进修总监Alex Smola：TensorFlow、Caffe等曾经存在，为什么还须要MXNet？ 不外，当只要一层感知器（perecptron）的时刻，还比拟轻易练习，然则有多层感知器的的时刻，练习会变得好不容易。这将触及到对每层的表达，和进程中的对象变换，并且还会用到链式轨则（chain rule，微积分中的求导轨则，用于求一个复合函数的导数），但是MXNet可以主动完成这些进程。 从游戏“Where's Waldo?”说起 亚马逊机械进修总监Alex Smola：TensorFlow、Caffe等曾经存在，为什么还须要MXNet？ 那末要如何做详细的图象辨认呢？这里Alex罗列了另外一个很著名的游戏——“Where's Waldo?”其实， 《Where's Waldo?》是一套由英国插画家Martin Handford创作的儿童书本，这个书的目的就是让在读者在一张摩肩接踵的图片中找出一个特定的人物——“Waldo”。那末要若何让盘算机来从图象中辨认出“Waldo”呢？这里就须要用到卷积神经收集。 CNN（卷积神经收集） 甚么是卷积？卷积就是两个函数之间的互相关系，然后得出一个新的值，他是在持续空间做积分盘算，然后在团圆空间内乞降的进程。卷积运算的目标是提取输出的分歧特点，第一层卷积层能够只能提取一些初级的特点如边沿、线条和角等层级，更多层的收集能从初级特点中迭代提取更庞杂的特点。 在卷积神经收集中，除卷积层，还有一种叫池化（pooling）的操作。它现实上是一种情势的向下采样，有多种分歧情势的非线性池化函数，而个中“最年夜池化（Max pooling）”是最为罕见的。它是将输出的图象划分为若干个矩形区域，对每一个子区域输入最年夜值。池化层会赓续地减小数据的空间年夜小，是以参数的数目和盘算量也会降低，这在必定水平上也掌握了过拟合。 Alex在这里罗列了两种卷积神经收集模子： 1）. LeNet Le望文生义就是指人工智能范畴的年夜牛Lecun。这个收集是深度进修收集的最后原型，由于之前的收集都比拟浅，它是较深的。 雷锋网曾对LeNet的完成进程做过详解： 亚马逊机械进修总监Alex Smola：TensorFlow、Caffe等曾经存在，为什么还须要MXNet？ 起首，输出图象是32×32的灰度图，第一层经由了一组卷积和，生成了6个28X28的feature map，然后经由一个池化层，获得获得6个14X14的feature map，然后再经由一个卷积层，生成了16个10x10的卷积层，再经由池化层生成16个5×5的feature map。 从最初16个5X5的feature map开端，经由了3个全衔接层，到达最初的输入，输入就是标签空间的输入。因为设计的是只需对0到9停止辨认，所以输入空间是10，假如要对10个数字再加上26个年夜小字母停止辨认的话，输入空间就是62。62维向量里，假如某一个维度上的值最年夜，它对应的谁人字母和数字就是就是猜测成果。 2）. Inception 亚马逊机械进修总监Alex Smola：TensorFlow、Caffe等曾经存在，为什么还须要MXNet？ 亚马逊机械进修总监Alex Smola：TensorFlow、Caffe等曾经存在，为什么还须要MXNet？ 谷歌的Inception v1的收集将1x1、3x3、5x5的卷积和3x3的最年夜池化堆叠在一路，并在3x3、5x5的卷积前和3x3最年夜池化后分离加上了1x1的卷积核，起到了下降特点图厚度的感化，上图就是Inception v1的收集构造。 亚马逊机械进修总监Alex Smola：TensorFlow、Caffe等曾经存在，为什么还须要MXNet？ Alex称，要经由过程Caffe来完成这一构造须要几千行代码，但是要若何简化这一进程呢？这也就引出了一个成绩：为何我们须要另外一个深度进修对象？ 2. 为何须要另外一个深度进修对象？ 今朝市情上曾经有了TensorFlow、Caffe、Torch、Keras、CNTK、PaddlePaddle、Theano等等，那末我们为何还须要MXNet呢？ Alex引见道，MXNet重要有3方面的优势： 效力：节俭盘算资本，资本应用效力高； 速度：可以跟着机械和GPU的扩大呈线性增加，并且在单台机械上也有很高的效力； 简略易用：同时支撑敕令式编程（imperative programming）和声明式编程（declarative programming）。 依据维基百科的说明： 敕令式编程是一种描写电脑所需作出的行动的编程范型，较高等的指令式编程说话应用变量和更庞杂的语句，但仍允从雷同的范型。由于敕令式编程的基本不雅念，不只概念上比拟熟习，并且较轻易详细表示于硬件，所以年夜部门的编程说话都是指令式的。 声明式编程与敕令式编程绝对立。它描写目的的性质，让电脑明确目的，而非流程。声明式编程是告知盘算机须要盘算“甚么”而不是“若何”去盘算，而敕令式编程则须要用算法来明白的指出每步该怎样做。 亚马逊机械进修总监Alex Smola：TensorFlow、Caffe等曾经存在，为什么还须要MXNet？ 好比，假如深度架构的盘算图谱须要深度优化，则比拟合适声明式编程；而触及到更新和图谱交互时，好比迭代轮回、参数更新、定向搜刮、特点提取等，这时候敕令式编程则更加适合。 Alex以为，进步用户的任务效力最为症结。 因为每一个用户偏好的编程说话和深度进修的框架能够各不雷同，是以MXNet尽力扩大本身的兼容性。依据Alex的PPT，今朝MXNet曾经可以或许挪用Torch，并可以无缝兼容Caffe Layer，并且将很快兼容Keras。 固然MXNet同时支撑敕令式编程和声明式编程，然则并未将二者融汇贯穿。有开辟者基于MXNet，开辟了MinPy，供给numpy接口，用来处理这个成绩。在应用MinPy时，只须要简略改写一句import语句：import minpy.numpy as np，就可以够开端应用MinPy了。因为是完整的敕令式编程的接口，编程的灵巧性被年夜年夜进步。 亚马逊机械进修总监Alex Smola：TensorFlow、Caffe等曾经存在，为什么还须要MXNet？ Alex罗列了一个例子（如上图所示），在TensorFlow中，假如须要打印某个变量，须要在打印语句前加上 “control_dependencies”。而在MinPy中，可以直接应用Python的原生“print”语句。 亚马逊机械进修总监Alex Smola：TensorFlow、Caffe等曾经存在，为什么还须要MXNet？ 另外，因为GPU采取的是高度并行的运转方法，这也是为什么GPU比CPU加倍合适深度进修的缘由。但是想要写出并行的法式则是一件异常苦楚的工作，然则MXNet则可以主动履行这一进程：你只须要编写串行法式，MXNet便可以主动完成并交运行。 亚马逊机械进修总监Alex Smola：TensorFlow、Caffe等曾经存在，为什么还须要MXNet？ 固然，Alex也将MXNet与今朝最风行的谷歌TensorFlow停止了比较。依据Alex的引见，在散布式练习的试验中，假如用10台以上的机械，MXNet处置图象样本的速度要比TensorFlow快2倍。 亚马逊机械进修总监Alex Smola：TensorFlow、Caffe等曾经存在，为什么还须要MXNet？ 不外，Alex也提示道，要想在散布式练习的进程中疾速到达收敛，Batch Size的选择也很主要，其实不是越年夜越好。 3. AWS为深度进修供给的各类云办事 作为全球第一年夜云办事供给商，亚马逊也为深度进修供给各类云办事，Alex重要引见了Amazon Machine Images（简称AMI）和 CloudFormation Template。 亚马逊机械进修总监Alex Smola：TensorFlow、Caffe等曾经存在，为什么还须要MXNet？ 从字面上便可以看出，AMI主打图象辨认，它可以节俭数据迷信家和开辟者设置深度进修体系的时光。除支撑亚马逊本身的MXNet框架外，AMI还支撑TensorFlow、Caffe、Torch、Theano、Keras，用户可使用Anaconda、Jupyter、Python 2、Python 3。 亚马逊机械进修总监Alex Smola：TensorFlow、Caffe等曾经存在，为什么还须要MXNet？ Alex表现，假如你要为深度进修搭建一个盘算机集群（一种盘算机体系，它经由过程一组松懈集成的盘算机软件和/或硬件衔接起来高度慎密地协作完成盘算任务），亚马逊则供给AWS CloudFormation Template。 固然MXNet有许多优势，并于客岁11月被亚马逊选为官方深度进修框架，又在本年2月参加Apache孵化器，应用Apache软件基金会的流程、治理、外展和社区运动，然则今朝最风行的依然是谷歌的TensorFlow等经常使用框架。因为被谷歌抢占先机，将来MXNet想要疾速成长，必需争夺更多开辟者的支撑。
