在刚曩昔的周末，OpenAI 的人工智能花了 10 分钟就打败了人类的 Dota 世界冠军。正这样多读者所知，游戏是很多研发人员用来练习人工智能的对象。
在 OpenAI 位于旧金山的办公室里，研讨人员 Dario Amodei 正在经由过程赛船冠军赛（Coast Runners）来练习人工智能。不外，这小我工智能似乎有点掉控了。
赛船冠军赛的游戏规矩很简略，假如想赢，选手必需搜集到最多的分数，然后跨过起点线。
但 Amodei 的人工智能玩着玩着有点过分了，它在赓续地寻求高分，不但毫无跨过起点线的意思，反倒为了要多转几个圈拿高分，它开端和其它赛船碰撞，或是在进程中本身撞墙爆炸了。
为了应对，Amodei 和 OpenAI 的同事 Paul Christiano 正在研发一套不只可以自我进修，同时也情愿接收人工监控的算法。
（Amodei 在告诉人工智能，如何的操作形式才更好）
在赛船游戏的练习中， Amodei 和同事将不时经由过程按键来指出人工智能的欠妥的地方，告诉人工智能，不只要赢分数，同时也要跨过起点线。他们以为，这类包括了人工干涉成份的算法可以确保体系平安性。
而在 Google 旗下 DeepMind 的研讨人员也赞成 Amodei 和同事的设法主意。两个团队，分离代表了 OpenAI 和 DeepMind，比来罕有地协作揭橥了部门人工智能平安方面的研讨论文。
除此之外，Google 旗下的 Google Brain，和来自伯克利年夜学和斯坦福年夜学的研讨团队，都设有该偏向研讨课题，从分歧方面斟酌人工智能平安成绩。
除这类在自我进修进程中“弄错重点”的潜伏风险，另外一个可料想的人工智能风险在于“为了完成义务，谢绝被开辟者关机”。
普通在设计人工智能时，研发人员都邑给它设定“目的”，就像赛艇游戏中的“得分”一样。一旦人工智能将取得“分数”为最终目的，它能够会发生一个办法论——想要取得加倍多的分数，个中一个办法就是不封闭本身，如许就可以无尽头地获得分数了。
伯克利年夜学的研讨人员 Dylan Hadfield-Menell 和团队比来宣布了评论辩论这个成绩的论文。他们以为，假如在设盘算法的时刻，让人工智能对目的坚持必定不肯定性，它们才有能够情愿保存本身的“关机键”。他们采取了数字方法来测验考试完成这个设置，今朝还处于实际阶段。
除人工智能自我“掉控”，研讨人员还在斟酌黑客对人工智能的干涉影响。
古代盘算机视觉基于深度神经收集（deep neural networks），它经由过程进修剖析年夜批量数据来构成对形式的懂得。也就是说，假如要让盘算机学会甚么是“狗”，那就让它剖析年夜批量狗的图片，并从中寻觅纪律。
但 Google 的 Ian Goodfellow 则以为，这类形式能够会为黑客供给“蒙骗”人工智能的机遇。Goodfellow 和其它研讨人员曾展现，只需修正图片中的几个特定像素，他们就可以让神经收集信任图片中的年夜象是一辆汽车。
假如这个神经收集是运用在安保镜头的话，如许就成绩年夜了。
即使你用了数百万张标记了‘人’的照片来练习一个物件辨认体系，你照样可以随意马虎拿出体系和人工辨认 100% 分歧意的图片。我们须要认清这类景象。
Goodfellow 说道。固然这些研讨年夜多仍处于实际阶段，但这群努力于将不测扼制于摇篮的研讨人员深信，越早开端斟酌这个成绩越好。DeepMind 人工智能平安方面的担任人 Shane Legg 说道：
固然我们还不克不及肯定，人工智能将以多块地速度成长。但我们的义务是测验考试懂得并猜想，这类技巧将有能够以哪一种方法被误用，并测验考试找出分歧的应对方法。
