天然说话处置，又称 NLP（Natural language processing），是今朝和将来 AI 范畴最主要的基本技巧之一，重要是在机械进修的基本上联合说话学和统计学在主动化办事中对说话停止建模。说的直白一点，NLP 就是关于人和机械若何相互懂得、机械若何更懂人类的症结。
作为今朝 AI 最重要的两个分支范畴，NLP（天然说话处置）和 Computer Vision（盘算机视觉）分离代表了人类测验考试让机械懂得世界的两个纬度，也是今朝人工智能范畴成长最快的两个分支。随同国际外各家智能音箱和语音助手的涌现，NLP 一时光成了浩瀚科技巨子正面比武的 AI 主疆场。
天然说话处置究竟若何一路走来、终究又将会让机械和人之间的关系走向哪？作为在 NLP 范畴投资最多的公司，Google 也许是最有谈话权的。
清除说话妨碍，Google NLP 的第一个义务
在 Google 的概念中，说话不该该是人类沟通的妨碍，更不该该是应用收集的障碍。
Google 研讨项目总监 Linne Ha 告知极客公园，Google 的任务在于汇总全球的信息并使其可以或许被广泛获得和应用，而废除说话妨碍就成了个中的症结。清除说话形成的隔膜，这些年来一直是 Google NLP 团队的重要义务之一。这类清除其实不止逗留在翻译层面，说话处置（文天职析、生成、对话等）、音频处置、手写辨认等都是 Google 正在着眼处理的成绩。
今朝世界上有 6000 种说话，这个中跨越 100 万人应用的说话就有 400 种，还有许多小众的方言。但如今的互联网主导说话仍然是英语，全球年夜约 50% 的收集内容都是英文的。让全球的人都能成为互联网的受害者，不被说话的差别所障碍，这恰是 Google Bringing Everyone online 筹划的巨大假想。
「同一码」和「不要豆腐」字体，它们是 Google 完成这件事的第一步。
Unicode（同一码）是盘算机的尺度字符编码，它为每种说话中的每一个字符设定了同一而且独一的二进制编码，以知足跨说话、跨平台停止文本转换、处置的请求，谷歌一种都在勉励更多的国度和地域废弃应用非 Unicode 的字体。
除此以外，许多时刻当电脑和手机等装备在对文本停止衬着，假如装备上没有响应的字体，就会涌现空白方块字符，这些方块看起来就像豆腐一样。针对这类情形，Google 开辟了一款叫做 Noto 的字体（Noto 就是 No Tofu 的缩写），它简直兼容一切说话，而且供给同一的作风，以此来清除文字在分歧装备上衬着涌现的空白方块（Tofu）。
（图片起源：techtolead）
当出现方法的妨碍清除以后，信息的输出就成了下一个须要处理的成绩。而机械进修的参与，开端让人与机械之间的信息交互方法产生了变更。
手写和语音是谷歌在键盘以外付与机械的信息吸收方法，这个在通俗用户看起来天真烂漫的演进，面前实际上是一个不小的工程。
不论是手写照样语音，配合存在的一个成绩是个别差别。许多时刻，就算是统一种文字、统一种说话，也会由于分歧的人而带上分歧的口音和分歧的字迹。面临这个成绩，Google NLP 搜集了年夜量书写样本和语音样本，并应用机械进修从这些样本中进修去识别字迹和口音。
早在十年之前 Google 就有了语音搜刮的假想，而且在 2007 年 Google 想出了经由过程供给 GOOG-411（Google Voice Local Search） 的办事来搜集数据。这个全主动的语音辨认搜刮办事很受迎接，也很快赞助 Google 依据这些讯问的语音树立了一个年夜型数据库。经由这些高质量的语音搜刮数据练习，一年以后，语音搜刮就足以在智妙手机上启动了。
以后 Google 又经由过程活着界各地的年夜量收集，扩大了 50 种其他说话的语音搜刮才能，让全球数百万人可以以更低的门坎应用上互联网。
神经收集，NLP 的跃迁筹马
DNN（深度神经收集）的参加，让 Google 的语音交互技巧上升到了一个全新的高度。
2012 年 Google 正式开端应用深度神经收集，这项技巧在一开端就让语音辨认才能进步了约 25％，且以后 Google 赓续在优化算法，让这类辨认率的晋升后果一直坚持着微弱的增加。同时，机械进修的才能晋升也让 Google NLP 的才能有了年夜幅度的晋升，可以或许更好的懂得人类的句子。
今朝，Google 经由过程这些技巧供给了 30 多种说话的语音输出支撑，涵盖跨越十亿人。个中个一典范的应用场景就是的 Gboard 输出法和 Google 语音搜刮，这些 App 供给了 119 种说话的支撑，包含 11 种印度语，3 种印度尼西亚语，乃至包括了 2 种非洲最主要的说话——斯瓦希里语和阿姆哈拉语。
Google 的团队从多年的数据搜集中得出了一套高效低本钱的计划，经由过程和统一处所的人用多说话停止沟通，用更少的数据树立了更好的说话模子。
在处理了根本的沟通成绩以后，Google NLP 也开端在更多范畴释放本身价值，个中最典范的两个场景就是翻译和 AI 语音助手。
谷歌在 2016 年 9 月正式推出了整合神经收集的翻译对象——GNMT（Google Neural Machine Translation）谷歌神经机械翻译体系，这一翻译技巧的应用恰是 Google 在 NLP 范畴技巧演进的一次直不雅表现。这类将全部句子视作翻译单位的方法，对句子中的每部门停止带有逻辑的联系关系翻译，翻译每个字或单词时都包括着整句话的逻辑。
在专访中 Linne Ha 也告知极客公园，NMT 关于 SMT 更多是一种互补的关系，并没有相对的好坏之分，他们各安闲分歧的情形下有着各自的优势。NMT 的涌现填补了之前 SMT 才能没法笼罩的长句翻译和庞杂逻辑翻译等成绩。
智能语音助手 Google Assistant 则是 Google NLP 技巧今朝最焦点主要的应用。早在 2012 年的安卓 4.1 和 Nexus 手机上谷歌的智能语音助手就以 Google Now 的情势和用户见过面了。
其时的 Google Now 恰是应用 NLP 技巧完成与用户交互，尔后经由过程 Web 办事来停止问答、供给建议、完成办事等举措。而从 2016 年开端，具有更壮大 NLP 处置才能的 Google Assistant 就开端慢慢代替 Google Now，赞助用户在手机上完成更庞杂的语音交互指令。
Google NLP 技巧程度直接影响着 Google Assistant 的才能规模，所以当 NLP 技巧经由过程机械进修在历久的语音输出、语音搜刮练习和积聚后，逐步可以或许控制对话才能，而不再只是纯真的简略指令处置才能。
这时候的 Google Assistant 也开端变得愈来愈万能，它可以或许从对话中进修积聚对天然说话的语意、逻辑的懂得才能，其实不断优化。
NLP 的机会和挑衅
NLP 也许不会有一个确实的止境，由于天然说话一直都在演化，而天然说话处置技巧须要赓续去顺应这类变更。
固然今朝的 NLP 技巧不管是在算法照样数据构造上都还没有到达极限，但限制它的能够其实不是只是算法和数据，而是没法猜测的说话习气的变迁，和赓续涌现的新辞汇，和旧辞汇的新用法。在专访中 Linne Ha 也告知极客公园，今朝的 NLP 最年夜的挑衅在于若何应用应用算法，更快的从无限数据中进修和顺应说话习气的新变更，并实时做出调剂。
异样的，机械翻译也毫不会完整代替人类，由于除说话静态变更的影响，数据量和算法异样是须要处理的成绩。今朝可以或许被应用的数据的范围相较于全部人类文明的说话贮备来讲其实太小，即便是 Google 也照旧面对雷同的成绩；同时，即便有朝一日真的具有了全部人类文明的说话常识库，现有的算法和盘算才能也难以完成如斯宏大的数据练习。
所以，未来 NLP 能够其实不必定可以或许想一个真实的人一样和我们停止对话，终究它也许更能够饰演一种高等帮助的脚色，成为我们说话系统的一部门。
不外，NLP 在将来却有能够也会对人类的说话习气发生一些影响，好比多说话的应用习气，一小我能够会具有正式和非正式两种说话习气。
而当极客公园问到现在的新兴创业公司在 NLP 范畴还有哪些机遇时，Linne 绝不迟疑的说出了「Assistant」，在她看来，如今语音智能助手的市场有太多太多未被弥补的空白场景。
另外一个机遇则隐蔽在像广东话如许的特别说话中，这些说话中存在许多没法被转化为书面文字的行动语，这类行动语关于须要先将语音转化为文字，从而进修并懂得的 NLP 技巧来讲是一个亟待处理的症结成绩。所以，NLP 将来的机遇极可能就隐蔽在「beyond text」（超出文本）的说话进修技巧上。
整体而言，说话是使互联网更具包涵性的症结地点。而说话关于下一个无所不在的盘算时期是相当主要，为了让我们真正处于将来时期的数据情况中，我们须要可以或许天然地与盘算机攀谈，让盘算机懂得我们。而这不该该只是应用英语的多数人的特权，而是一切人都应当享有的人工智能时期的福利。
而让机械更好的做到这一点，恰是 Google NLP 的目的和任务。
