邓力在 AI NEXT 演讲现场
本月18日，由美中技巧与立异协会（Association of Technology and Innovation，ATI）主办的第一届“AI NEXT”年夜会在西雅图召开。本次会议的重要佳宾包含：微软首席 AI 迷信家邓力，微软院士黄学东，Uber 深度进修担任人 Luming Wang 等。华人以外，还有亚马逊 Alexa 首席迷信家 Nikko Strom，微软小娜架构师 Savas Parastatidis 等业内著名专家。
年夜会主题是“摸索 AI 的潜力，把 AI 技巧运用于适用项目和办事”，对 CV、NLP、智能助手、深度进修框架均做了专题申报。个中，邓力博士以”对话体系：汗青成长与近况“为题，向预会者作了 ppt 演讲申报。
邓力：很愉快可以或许来这里，与年夜家分享我的一些研讨——关于该范畴，我小我将其称之为”聊天机械人技巧“（Bot Technology），有时也被叫做对话体系（Dialogue System），与人机交换（Human-Machine Communication）慎密相干。对该范畴的研讨，曾经有相当长的汗青。借此次机遇，我想要与年夜家分享该技巧的汗青成长，和一些时新论文研讨中的前沿技巧冲破。
当我们谈起对话体系、对话署理（Conversational Agent）、对话式交互界面（Conversational UI）或许聊天机械人，它们其实附属于统一类技巧，是完成人机交互（HCI）的一种方法。明天我重要想讲讲，在曩昔的二三十年间，这类技巧是若何成长的。就似乎关于神经收集专家，明天所风行的深度进修和各类 AI 技巧，其本源都要追溯到二三十年前。曩昔很多有价值的研讨，都被如今的年青人疏忽了。我愿望年夜家可以或许回头看看这些技巧的演进过程——明天的技巧都不是孤立存在的，也不是科研人员用一两年时光一会儿研讨出来的。
我先从对该技巧的简略引见开端。
起首，这类技巧可被分为两类：基于文字（Text-based）和基于语音（Speech-based）。年夜家将会从下一名演讲者 Nikko（亚马逊 Alexa 首席迷信家 Nikko Strom，本次年夜会上他的演讲主题为 “Alexa是如何炼成的”）那边，听到更多关于”基于语音“的器械，是以我会重点讲”基于文字“和它们之间的差别。
有一种视角把白话对话体系看做是两类体系的代替（基于语音→基于文字）：先是语音辨认，然后，语音辨认的成果酿成连续串的文字，这就成了基于文字的体系。这是传统的不雅点。
但如今看来，这两种体系可以很好的整合到一路，不再是两条分别的流水线（Pipeline）。如许可以对端到端（End-to-End）的机能停止优化。这方面有些不错的学术出书物。
所以，我写的“对话体系= | ≠语音辨认+基于文字的对话体系”的意思是：白话对话体系既可被看做是两种体系的代替，也可不这么看。传统的不雅点非常简练，可以有两个分歧的开辟者社群来停止技巧开辟：一个是语音辨认，一个是用基于文字的体系辨认毛病，由于语音辨认会发生毛病。
在这里，我想指出三点：
设计对话体系有两种分歧方法：整合进修（Integrated learning）vs. Simply pipelined；
关于基于语音的体系，它包括额定的信息：我们称之为 Para-linguistic cues，这在文字中是缺掉的。若能充足应用 Para-linguistic cues，好比措辞者的情感、肢体说话，基于语音的体系会远远壮大于基于文字的体系。固然，后者也有一些表达情感的方法，好比 emoji 的应用，但和 Para-linguistic cues 比拟依然是分歧的器械。这是基于语音和基于文字体系的一项重要差别。
别的，取决分歧的用户，语音输出能够会比文字输出更简略——或许更庞杂。对我小我而言，因为对语音技巧比拟懂得，在乐音不高的情形下，我偏向于应用语音来于小娜对话。但关于年夜多半人而言，他们偏向于应用基于文字的对话，由于他们不晓得语音辨认在甚么情形下后果好，甚么情形下后果欠好。差别于分歧用户，会有分歧的人机对话行动，这是体系设计中须要斟酌的、很主要的一点。
另外一个主要差别是：窄范畴 vs 宽范畴（narrow domain vs wide domain）。今朝来说，基于文字的体系普通被看做是宽范畴，语音是窄范畴。但这是因为今朝技巧所限，跟着语音辨认技巧成熟，情形很快便可能产生变更，特别鉴于深度进修对语音辨认的改良。明天的研讨人员，曾经可以着手思虑怎样让基于语音的体系更宽更 open。
接上去，我会讲讲白话对话体系的三代成长。
白话对话体系的三代成长
近几年，我们阅历了一轮又一轮"关于 AI 技巧的高兴期。但实际是，相干技巧的基本在1980年月末、1990 年月初就曾经开辟出来了。我会对这些技巧若何从第一代成长到最新一代作个归纳综合。
第一代：基于符号规矩、模板
起首，第一代技巧从1980 年月末开启，在风行度下面，几年前这一波技巧便可以说是停止了，固然你可以或许发明一些商用体系和 bot 始创企业还在应用它们。这代技巧依附于专家人工制订的语律例则和本体设计（ontological design）。这些规矩很轻易说明、懂得，比拟通明，这就是这代技巧为何能催生出一系列的胜利贸易运用的缘由。修补破绽很轻易，体系更新也很轻易。
它的局限性：
依附于专家。假如没有理解编写这类运用的专家，开辟会极端艰苦。
跨范畴的扩大性缺乏
数据用来设计规矩，而不是进修
晚期有相当多的高校、当局机关、贸易公司研发这类体系。它们可分为语音辨认和说话懂得体系。它们全都由符号规矩构成，须要支付极年夜的尽力来开辟。
因为这些局限，第一代技巧只能运用于极狭小的范畴，而这或许是一件功德。有一个异常好的、关于这类技巧的论文，它的研讨对象是伯克利的餐厅。雷锋网获知，通俗餐厅反而是不可的，由于须要写的规矩太多。
第二代：数据驱动、浅层进修
第二代技巧是数据驱动型的。
从业者不肯意把这代技巧称之为浅层进修（shallow learning），但现实如斯，它们是传统的浅层进修办法。对了，用于对话规矩（dialogue policy）的强化进修就是这时候候研讨出来的（1990 年月）。明天我们看到的强化进修热潮，在那时就打下了基本。现在深度进修的提高进一步起到了赞助。
这类基于浅层进修的数据驱动方法，不轻易懂得和修补破绽，但确切有进修才能。
这篇论文（“POMDP-based statistical spoken dialogue systems：a review”）对第二代技巧做了全体归结，它揭橥的时光是 4 年前（2013），恰好在深度进修退场之前。这篇论文是剑桥年夜学的结果，他们做了许多尽力来把该体系贸易化。
第三代：数据驱动的深度进修
第三代技巧用深度进修代替了浅层进修的部门。和第二代技巧一样，数据被用来进修对话体系中的一切器械。第三代的神经模子和表现远远比前两代要壮大，端到真个进修也变得可行。从两年前开端，它吸引了全球规模内伟大的研讨兴致。但它也有很多局限性：
说明、修补破绽、更新体系依然不轻易。
在神经收集进修和符号天然说话之间缺少交互界面
跨范畴的扩大，但相当多的研讨在想方法应用深度迁徙进修和强化进修来完成
还没有明白的贸易胜利案例。
这三代技巧有各自的强项，若何把这些长处整合起来，是一项重要的挑衅。许多研讨聚焦于此。
研讨前沿
这里我列出了三项前沿研讨范畴：
基于语音 vs 基于文字
针对对话的深度强化进修
符号-神经之间的整合
邓力简介：邓先生原为加拿年夜滑铁卢年夜学传授，1999年参加微软，2016年起担负微软首席人工智能迷信家，担任微软深度进修技巧中间运用趋势的深度进修研讨。
