科技评论网站日前揭橥文章，引见了深度进修的成长趋向及其局限。固然深度进修曾经是以后的一股高潮，也获得了很多结果，但业界人士指出，今朝的深度进修就像是“物理学涌现之前的工程学”。以下为原文摘要：
人工智能（AI）范畴的每个提高，都有赖于30年前的一个冲破。要坚持AI提高的节拍，就须要冲破这个范畴的一些严重局限。
AI范畴的爱因斯坦
矢量研讨所（Vector Institute）位于加拿年夜多伦多的市中间，将于本年秋季停业，它旨在成为全球AI中间舞台。美国和加拿年夜公司（好比谷歌（微博）、Uber和Nvidia）将在这个研讨所资助贸易化AI技巧的尽力。
资金的涌入比该中间的结合开创人乔丹o雅各布斯（Jordan Jacobs）假想的更快。该中间别的两位结合开创人对多伦多地域的公司停止了查询拜访，发明该地域对AI专家的需求，是加拿年夜每一年造就的专家人数的10倍。全球正在鼓起一股深度进修的高潮，而这个研讨所愿望站在这股潮水中间——聚焦于这类技巧，教授它，改良它，而且运用它。数据中间正在扶植中，始创公司接踵而至，先生们正在入场。
而“深度进修之父”乔弗里o辛顿（Geoffrey Hinton）也住在多伦多。雅各布斯说：“再过30年，我们回头来看，就会说辛顿是AI和深度进修范畴的爱因斯坦。”
辛顿的门生们在苹果、Facebook和OpenAI主管AI试验室，辛顿本身是谷歌年夜脑（Google Brain） AI团队的首席迷信家。现实上，AI的比来十年来的简直每个造诣——翻译、语音辨认、图象辨认和游戏弄法都和辛顿奠基的基本分不开。
深刻进修的重要理念其其实30年前就曾经提出。辛顿与同事戴维o罗姆哈特（David Rumelhart）、罗兰德o威廉姆斯（Ronald Williams）在1986年揭橥了一篇冲破性的文章，具体论述了一种称为 “反向流传”的技巧。用普林斯顿年夜学的盘算心思学家乔o科恩（Jon Cohen）的话来讲，这类技巧是“一切深度进修的基本”。
这篇1980年月中期的文章引见了若何练习多条理神经收集。它为近十年来AI范畴的成长提高奠基了基本。
深度进修就是反向流传
现在从某种角度上说，AI就是深度进修，而深度进修就是反向流传。你能够觉得弗成思议，一个技巧怎样冬眠了这么长时光，然后忽然涌现了迸发式的突起。一个不雅点是：或许我们如今其实不是处在一场反动的开端阶段，而是在进入它的序幕。
辛顿来自英国，曾在匹兹堡的卡内基梅隆年夜学任务，1980年月搬到了多伦多。他爱好这座城市的气氛。
辛顿说，他比来在一个项目上获得了严重冲破，“找到了一个异常好的低级工程师，跟我一路任务，”这个女工程师名叫萨拉o萨福，是伊朗人，她在美国请求任务签证被谢绝了。 谷歌在多伦多的办公室接收了她。
在1980年月，辛顿曾经是神经收集专家。神经收集是一个年夜年夜简化的年夜脑神经元和突触收集模子。固然最早的神经收集“感知器”（Perceptron）在1950年月就开端开辟，也被誉为迈向人机灵能的第一步，然则到了80年月，业界果断地以为神经收集是AI研讨的逝世胡同。
1969年，麻省理工学院的Marvin Minsky和Seymour Papert在一本名为《感知器》的书中，用数学证实了如许的收集只能履行最根本的功效。这类收集只要两层神经元，一个输出层和一个输入层。假如一个收集在输出和输入神经元之间有更多的层，那末它在实际上可以处理许多分歧的成绩，只是没有人晓得若何练习它们，所以在理论中，这些神经收集是没用的。除辛顿等寥寥几小我以外，《感知器》使得年夜多半人都完整废弃了神经收集。
1986年，辛顿获得冲破，显示反向流传可以练习一个深层神经收集（跨越两三层的神经收集）。然则又花了26年时光，盘算才能才成长到了可以好好应用这个冲破的水平。辛顿和他的两个先生的2012年揭橥论文，显示反向流传练习的深层神经收集在图象辨认中击败了最早进的体系。 “深度进修”从此成为一股高潮。在外界看来，AI仿佛是在一夜之间蓬勃成长起来的。但关于辛顿来讲，这倒是一个迟来的迸发。
神经收集的道理
神经收集平日被描写成一个多层三明治，层层叠叠。这些层里包括着天然神经元，指的是渺小的盘算单元，它可以遭到激起 （就像真实的神经元会被激起那样），然后将高兴度传递给它所衔接的其他神经元。神经元的高兴度由数字来代表，好比0.13或32.39。别的，在每两个神经元之间的衔接上，还有一个症结数字，决议了若干高兴度可以从一个神经元传递到另外一个。这个数字是在模仿年夜脑神经元之间突触的给力水平。当这个数字比拟高时，就意味着两个神经元之间的衔接更强，可以把更多的高兴度传递给对方。
深层神经收集最胜利的运用之一就是在图象辨认中，该团队开辟了一个法式，可以断定图片中能否有热狗。在十年前，如许的法式是弗成能完成的。开辟这类法式的第一步是找到一张照片。为了简略起见，你可使用一张诟谇图象，100像素宽，100像素高。你把这张图象输出到神经收集——也就是给输出层中每一个模仿神经元设置高兴度，使之和每一个像素的亮度吻合。这个多层三明治的底层就是10000个神经元（100x100），代表图象中每一个像素的亮度。
然后，你将这一层神经元衔接到下面的另外一层神经元层（有几千个神经元），再持续连一层神经元层（也有几千个神经元），如斯这般。最初，在这个三明治的最下层是输入层，它只要两个神经元 ， 一个代表“有热狗”，另外一个代表“没有热狗”。其理念就是让神经收集学会只要当图片里有热狗的时刻，才会激起“有热狗”的神经元，只要在图片里没有热狗的时刻，才会激起“没有热狗”的神经元。反向流传就是做到这一点的办法。
若何应用反向流传技巧
反向流传自己异常简略，虽然它在有年夜量数据可用的情形下后果最好。这就是为何年夜数据在AI中如斯主要的缘由——和为何Facebook和谷歌如斯盼望数据的缘由。
在练习神经收集的时刻，你须要应用数以百万计的图片，一些有热狗，一些没有。而窍门就是那些有热狗的图片被标志为有热狗。在一个初始神经收集中，神经元之间的衔接权重（表现每一个衔接传递的高兴度的若干）能够是随机数，就似乎是年夜脑的突触还没有调剂好。 反向流传的目的是转变这些权重，让神经收集可以取得很好的后果：当你将热狗的图片输出到最低层时，最顶层的“有热狗”神经元终究会变得高兴起来。
假定你拔取的第一幅练习图片里是一架钢琴。你将这个100x100图象中的像素强度转换为10000个数字，正好分给收集底层中的10000个神经元。然后高兴度依据相邻神经元层之间的衔接权重在这个收集上过滤，达到最初一层断定图片中能否有热狗的两个神经元。因为图片是钢琴，在幻想情形下，“有热狗”神经元应当得出一个0，而“没有热狗”神经元应当得出很高的数字。然则我们假定这个神经收集后果欠好，对这张照片得出了毛病结论。这时候你就应用反向流传技巧，来从新调剂收集中每一个衔接的权重，以便修改毛病。
它的任务道理是从最初两个神经元开端，弄清晰它们错很多凶猛：高兴度的数字应当是若干，现实上是若干，差异有多年夜？当如许做的时刻，你要检讨达到这些神经元（和下一层的那些神经元）的每一个衔接是甚么，并弄清晰它们对毛病的进献有多年夜。你一向如许剖析直到第一层，也就是收集的最底层。这时候候，你就晓得每一个零丁的衔接对全部毛病的进献是若干了，最初，你可以依照在最年夜水平上削减全体毛病的年夜偏向来修正每一个权重。这个技巧被称为“反向流传”，由于你是从输入开端，反偏向对毛病停止剖析的。
神经收集的奇异和愚昧
奥妙的是，当你有成百上万万，乃至数以十亿计的图象，再依照这个方法操作的时刻，神经收集就会变得异常善于于辨认图象中能否有热狗。更奥妙的是，图象辨认收集中的各个层开端可以或许用和人类视觉体系雷同的方法来“检查”图象。也就是说，第一层能够会检测边沿——当有边沿时，它的神经元就被激起，当没有边沿时，则不会激起；下面一层能够会检测到一组边沿，好比检测出一个角；然后再下面的层便可能开端看到外形；再下面的层能够会开端辨认出“开了口的面包”或“没启齿的面包”如许的器械。换句话说，法式员不须要自动地这么编程，这个神经收集就会本身构成一个品级化的条理。
须要记得的是：虽然这些“深度进修”体系有时刻看起来很聪慧，但它们依然很愚昧。假如有一张图片显示一堆甜甜圈放在桌子上，而法式可以主动地将其标示为“堆在桌子上的一堆甜甜圈”的时刻，你能够认为这个法式很聪慧。然则当统一个法式看到一个女孩刷牙的照片，会将其标识为“男孩拿着棒球棒”，这时候你就会发明，它对世界缺少懂得。
神经收集只是有意识的隐约形式辨认器，你可以将它们集成到简直一切类型的软件中。然则 它们包含的智能很无限，并且轻易被诱骗。假如你更改单个像素，一个辨认图象的深层神经收集能够就会完整傻失落。我们在发明深度进修的更多应用办法的同时，也在频仍发明它的局限性。主动驾驶的汽车能够没法应对之前从未见过的路况。机械也没法解析须要应用知识能力懂得的句子。
从某种水平上说，深度进修模拟了人类年夜脑中产生的工作，但模拟的水平异常浅易 —— 这或许说明了为何它的智力有时看起来很无限。现实上，反向流传其实不是经由过程深刻摸索年夜脑，解读思惟自己来解密思惟的。它的基本现实上是前提反射试验中植物若何应用试错法的进修形式。它的许多伟大奔腾并没有归入神经迷信的一些新洞见，而是多年来在数学上和工程上积聚的技巧改良。我们对智能的懂得，绝对于我们尚不懂得的部门来讲，只是九牛一毫。
“物理学涌现之前的工程学”
多伦多年夜学的助理传授戴维o杜文多（David Duvenaud）说，今朝深度进修就像是“物理学涌现之前的工程学”。 他是这么说明的：“有人写了一篇文章，说‘我造好了这座桥！’另外一小我发了论文：‘我造了这座桥，它倒下了——然后我添加了支柱，它就立起来了。’因而柱子就成了年夜热点。有人想到了应用桥拱，‘桥拱很棒！’然则直到有了物理学以后，你才明确怎样造桥能不倒，为何。”他说，直到比来，人工智能界才开端走入这个现实懂得它的阶段。
辛顿以为，战胜AI的局限性是树立“盘算机迷信与生物学之间的桥梁”。在这类不雅点下，反向流传是一种“生物启示的盘算”的成功。它的灵感不是来自工程学，而是心思学。如今，辛顿正摸索一个新的办法。
如今的神经收集是由伟大的立体层构成的，然则在人类新皮层中，真实的神经元不只仅是程度组成条理，并且也是垂直分列成柱状的。 辛顿以为，他晓得这些柱状有甚么用——好比即便我们的视角转变，也能辨认出对象——所以他正在构建相似的“胶囊” ，来测试这个实际。到今朝为止，胶囊还没有年夜年夜进步神经收集的表示。然则，他30年条件出的反向流传也是直到不久前才显示出惊人后果的。
“它不见效能够只是临时的。” 他在谈到胶囊实际时说。
