嘿，AI，你认为你在看甚么？为何有着进修算法的机械还会受愚认知出本不存在的器械？跟着无人驾驶汽车如许的产物涌现，这一点变得愈来愈主要。如今，我们可以经由过程一项测试来窥识趣器的年夜脑，这一测试可使人们晓得人工智能正在看一幅图象的哪些部门。
人工智能和人类完整分歧。罗德岛布朗年夜学的克里斯·格里姆说，即便是最好的图象辨认算法，也会受愚，好比会将白噪图象辨认成知更鸟或是猎豹，这是一个年夜成绩。他说，假如我们不睬解为何这些体系会犯愚昧的毛病，那末我们把生命交付给人工智能时，就应该三思尔后行，好比谨慎斟酌能否成长无人驾驶汽车。
是以，格里姆和他的同事们创立了一个体系，剖析一小我工智能在辨认图象进程中，及时监测它在存眷图象的哪一部门。相似地，关于一种文档分类算法来讲，该体系显示了算法应用哪些单词来决议一种特定文档应当属于哪一个种别。
窥测内涵
谷歌的研讨人员杜密鲁特·埃尔汗说，这是一种异常有效的办法，可以进一步懂得人工智能并研讨它是若何进修的。格里姆的对象为人们供给了一种便利的方法，让人可以检讨出一种算法能否准确地给出了准确的谜底，他如许说道。
为了创立他的留意力跟踪对象，格里姆在他想要测试的人工智能上装置了第二小我工智能。这个“外包AI”调换了一张带有白噪的图象，来看看这能否对原始软件的断定发生了影响。
假如调换部门图象转变了却果，那末这个图象的区域极可能是辨认进程中的一个主要区域。这类办法异样实用于说话。假如在文档中转变一个词令人工智能对文档停止了分歧的分类，那末它就注解这个词对人工智能的决议相当主要。
格里姆在人工智能上测试了他的技巧，该人工智能经进修可将图象分类为10个种别，包含飞机、鸟类、鹿和马等。他的体系映照出了人工智能在停止分类时的视野途径。成果显示，人工智能曾经学会了把物体分化成分歧的元素，然后在图象中搜刮每个元素，以确认其辨认成果。
辨认马头
例如，当看到马的图象时，格里姆的剖析显示，人工智能起首对腿停止了亲密存眷，然后在图象中搜刮了它以为能够是头的处所——它事后其实不能晓得这匹马的头涌现的处所。关于包括了鹿的图象，人工智能也采用了相似的办法，但在这些情形下，它专门搜刮了鹿角。人工智能简直完整疏忽了一个图象中的很多部门，这些部门其实不包括有助于分类的信息。
格林和他的同事们也剖析了一个练习后可以玩“Pong”（某电子游戏）的人工智能。他们发明，它简直疏忽了屏幕上一切的器械，只是亲密存眷着两根纤细的挪动小柱。人工智能对一些区域简直没有存眷，以致于把小柱从它预期的处所移开后，它就误认为它是在看球而不是小柱。
格里姆以为，他的对象可以赞助人们断定出人工智能是若何做出决议的。例如，它可以用来检讨在肺部扫描中检测癌细胞的算法，确保它们不会经由过程不雅察图象毛病的部门，却正好找到准确的谜底。“你可以看看它能否没有留意到准确的器械，”他说，但起首，格里姆想用他的对象来赞助人工智能进修。
假如人工智能没有留意到时，它就会让人工智能培训师把他们的软件直接引诱到到相干的信息上去。
