2014年，SpaceX的首席履行官埃隆·马斯克发了一条推特：“博斯特罗姆的《超等智能》值得一读，对人工智能必定要万分当心，它能够比核弹还风险。”统一年，剑桥年夜学宇宙学家霍金对BBC说：“开辟完全的人工智能能够招致人类消亡。”微软开创人之一比尔·盖茨也曾小心地表现：“我是对超等智能觉得担心的那一派。”
2008年，盘算机迷信家埃利泽·尤得库斯基在《全球灾害风险》中描绘了AI灭世的场景：“AI的智力从阿米巴一路上升到村里的笨伯谁人级别，然后止步于人类天赋的程度，如许的能够性有多年夜？”他本身的答复是：“从物理上说，我们有能够造出一台运算速度百万倍于人脑的盘算机。假如人脑加快到这个程度，那末早年须要思虑一年的成绩，如今31秒以内就可以处理。而这就意味着，外界才过八个半小时，心坎就曾经感到阅历了近千年的思虑时光。”尤得库斯基以为，如今不为这个成绩着想，今后就来不及了：“AI的时光不雅念和你我分歧，比及你的神经元想好‘我该做点甚么’时，你就曾经输了。”
这派设法主意的代表是牛津年夜学哲学家尼克·博斯特罗姆在《超等智能》一书中提出的所谓“回形针量产机”的思想试验：人类设计了一台AI来造回形针，它在耗尽了最后的原料以后，就开端极力搜刮一切可用的资料，包含人类身上的那些。博斯特罗姆在2003年的一篇论文中写道，只需这个头一开，AI就会“先将全部地球耗尽，乃至进一步应用四周更年夜规模内的一切资料，把它们都改革成一部部临盆回形针的装配。”用不了多久，全部宇宙就只剩下回形针和临盆回形针的机械了。
我对这个假想持疑惑的立场。第一，这个末日场景须要知足连续串前提能力完成，中央任何一个环节失足，末日的戏码都没法演出。英国西英格兰年夜学的电气工程传授艾伦·温菲尔德在2014年的一篇文章中如许写道：“假设我们造出了和人类相当的AI，假设这部AI明确了本身的任务道理，又假设它能将本身改良成具有超等智能的AI，再假设这个超等AI出于有意或歹意开端消费资本，还要假设我们没能拔失落它的插头？到那时，我们才能够碰到费事。这风险不是没有，只是几率甚微。”
第二，AI的研发其实要比猜测的迟缓很多，个中每个步调，人类都有时光叫停。就像谷歌董事长埃里克·施密特在答复马斯克和霍金时所说的那样：“你们认为人类会留意不到吗？留意到以后，不会去关失落那些电脑吗？”谷歌的DeepMind公司曾经成长出了一个封闭AI的开关，它被戏称为“紧迫红按钮”，可以在AI意图造反时按下。百度首席迷信家吴恩达也表现（针对马斯克的话），有人“还没登上火星，就开端担心火星上的生齿成绩了。”
第三，AI灭世论的根据常常是自然智能和人工智能之间的毛病类比。2015年，哈佛年夜学的试验心思学家斯蒂芬·平克在答复Edge网站年度成绩“你对会思虑的机械有甚么意见”时，对这一点做了解释：“AI灾害论者都在智能的概念中投射了狭窄的年夜须眉心态。他们假定智力超出人类的机械人会制订出免职主人或是统治世界的目的。”但现实上，平克指出，人工智能异样能够“沿着女性的道路退化：既能闇练地处理成绩，又没有祛除无辜者或主宰人类文明的愿望。”
第四，电脑“想做”某事的说法（好比想把世界酿成回形针）意味着电脑有了情感，然则就像科普作家迈克尔·乔罗斯特指出的那样：“一旦AI对某事有了神往，它就进入了一个奖赏与处分的世界，好比它会晓得，做了好事就要遭到我们的处分。”
斟酌到汗青上的末日预言还没有一个应验，再加上AI几十年来的成长一贯陡峭，我们应当有富余的时光树立一套平安系统，以避免AI扑灭世界的工作产生。
