谷歌、百度、微软、Facebook、阿里……我们引见过许多中美在人工智能范畴技巧和贸易化方面的停顿，包含印度、以色列等等地域也涌现过很多创业团队。
可这外面仿佛没有战役平易近族俄罗斯甚么事。按理说，俄罗斯有在暗斗时期遗留上去的年夜量科技人才网job.vhao.net贮备，国度对数学、盘算机等学科的基本教导也足够看重，壮大的黑客团队展现了俄罗斯人资技巧上能到达的各种能够。并且天寒地冻的气象，似乎也挺合适在家宅着撸代码的。
放眼俄罗斯、乃至全部东欧地域，在人工智能范畴最活泼的能够就是Yandex了。
Yandex：把搜刮引擎当作技巧成长的基本
Yandex是谁？年夜多半人第一反响是俄罗斯的“百度”。
没错，在1990年，来自莫斯科年夜学的两位校友阿卡季·弗洛日和阿卡季·勃可夫斯基配合创立了俄罗斯本身的搜刮引擎Yandex。“Yandex”一词俄语寄义是“Языковой index”（说话索引），是英语单词“Yet Another indexer”的缩写。意味“另外一种搜刮引擎”。从名字就可以感触感染到两位开创人对英语世界的对抗。
树立了搜刮引擎后，Yandex逐步开端成长为一家万能型的互联网公司：树立门户网站、创建电商平台、与联邦储蓄银行Sberbank协作推行线上付出、署理来自中国的4399小游戏、推出打车平台……根本你能想到的风口，Yandex都没错过。
和谷歌、百度一样，搜刮引擎成了Yandex搜集语料数据、着手机械进修技巧成长的基本。
战役平易近族在人工智能上成长若何？
Yandex在机械进修方面都做了甚么？
起首，是时下最火的无人驾驶。据称Yandex正在着手研发无人驾驶须要的盘算机视觉、语音辨认等等相干的技巧。今朝Yandex选择了丰田普锐斯作为原型车，加上英伟达的芯片、Velodyne的雷达传感器，目的向L5级的无人驾驶冲击。
几个月之前，Yandex还晒出了旗下无人驾驶车的场地测试视频，视频中无人车的表示中规中矩，固然完成了在无人掌握的情形下迟缓驾驶，但也会有难以超出妨碍、回避行人不实时等情形。
Yandex为本身定下了目的，来岁要让丰田普锐斯上公共途径测试，同时还和卡车制作商Kamaz、Daimler杀青协作，筹划推出无人驾驶的迷你公交车。坦率讲，Yandex关于本身无人驾驶技巧的表露相当少，俄罗斯外乡能否有没有人驾驶必备的高精地图也不得而知，俄罗斯的无人驾驶毕竟会成长成甚么样，今朝很难下个定论。
除无人驾驶，Yandex还“有样学样”的推出了语音助手Alice，以此展现本身的语音辨认技巧。和Siri、谷歌语音助手一样，Alice可以赞助用户衔接出行、购物、付出、消息、音乐等等办事。
Yandex还给Alice加上了基于神经收集的聊天引擎，让Alice可以在社交收集上进修别人的谈吐，这一技巧切实其实较为先辈。在测试中，Alice乃至还学会了一些政治、暴力方面的欠妥谈吐，不外在成绩暴光后，这些谈吐很快被技巧协调了。
除这些之外，Yandex还开源了机械进修框架Catboost、推出了深度神经收集搜刮引擎等等。
分词技巧：外乡搜刮引擎的神器
我们想懂得到的是，Yandex是若何克服谷歌搜刮，还在天然说话方面获得了绝对前沿的停顿。谜底也许是由于Yandex独有的分词技巧。
所谓分词技巧，实际上是中文搜刮引擎中的技巧。即搜刮引擎针对用户提交查询的症结词串停止的查询处置后依据用户的症结词串用各类婚配办法停止分词的一种技巧。
好比在搜刮引擎中搜“不晓得你在说甚么”，便可能分红“不，晓得，你，在，说甚么”和“不晓得，你，在，说甚么”等等许多种分法，再到数据库中停止索引。
若何肯定分词的方法有许多种，好比正向最年夜婚配法，依照中文浏览习气，从左向右分词；又好比最短途径分词法，把一段话切出的词数起码等等。这些只是比拟传统的办法，如今还可以应用NLP技巧，从语义懂得长进行分词；应用临近算法，看哪些相邻字符涌现的频率最多，就依照如许的方法停止分词。
若何克服谷歌？说话壁垒是症结
异样的概念，在Yandex的搜刮引擎技巧中也存在，只不外不叫分词技巧，叫“морфология”这个词可以被懂得为“词形”。
这就要谈到了俄语这门说话的特别性，和中文、英语分歧，俄语中词与词之间的关系平日用词形变更表现，因而，统一个名词可以有12个情势，描述词乃至能到达20、30个情势……所以，俄语中会有动名词、形名词这些奇异的器械。
因而，由于俄语的特征，在搜刮中异常轻易惹起歧义，对搜刮的精度请求也更高。好比машиностроительный这个词，在俄语中意为“机械的”。在谷歌搜刮中，可以找到与之完整婚配的网页，却很难找到有关机械描述词剩下的二十多个词形变更的网页。
而Yandex搜刮引擎技巧善于的，恰好就是症结词的多义剖析和查找。也构成了一些Yandex独有的搜刮方法，好比加上“”便可只搜刮指订单词，不搜刮变形词，也应用指令只搜刮描述词形状、动词形状等等。
俄语属于斯拉夫语族内的东斯拉夫语支，也就是说白俄罗斯语、乌克兰语乃至捷克、波兰等等处所的说话都邑都相似的语法形状。而Yandex的分词技巧在这些说话中的表示也很精彩。
凭仗着说话优势上的独有技巧，Yandex克服了谷歌成了俄罗斯外乡最年夜的搜刮引擎。而年夜量用户应用积累的数据，更让Yandex可以成长机械进修技巧对算法停止进一步优化。放到全部NLP技巧里也是一样，难怪Yandex可以在语音辨认上取得不小的停顿。
机械进修给了这个世界一个绝对对等的机遇，就算技巧、资金绝对落伍，说话上的优势依然可以建立起壁垒，更别提语料数据这一名贵的数据。有Yandex的案例在先，是否是意味着那些基于泰语、印度语、阿拉伯语等等小语种的搜刮引擎，也会在人工智能范畴有着独有的优势？
看来除中美以外，我们还可以把眼力放到更远的处所。
