OpenAI 于近日的一项研讨中发明，在一个非明白的技巧练习的情况中，AI 可以或许经由过程“自我对局”的练习控制一系列举措技巧，好比防御、回避、假举措、踢、抓等等。“自我对局”练习肯定了情况关于晋升AI体系的主要性。Dota2在“自我对局”练习中的表示和成果让团队愈来愈信任，“自我对局”练习不久将会成为AI体系的焦点。对本文停止编译，全文以下：
我们在几个3D机械人之间设置了一些根本的游戏比赛，应用一些简略的目的（好比：将敌手推参预地圈外；达到场地的另外一边，并阻拦敌手达到；把球踢进敌手的网内，而不让敌手的球踢进本身的网内等。）对每一个机械人停止练习，而且剖析机械人在完成目的时所应用的技巧和战略。
一开端，机械人会由于站立、进步如许的行动而取得丰富的嘉奖，但最初这些嘉奖会被清零，只要成功的机械人才网job.vhao.net会取得嘉奖。除这些简略的嘉奖之外，机械人还会学到一系列举措技巧，好比防御、回避、假举措、踢、抓等等。在这个进程中，每一个机械人的神经收集都零丁接收了“近端战略优化” 的练习。
为了弄清晰在这些目的和比赛的压力眼前，机械人会作出若何庞杂的行为，我们无妨剖析一下机械人的“摔角相扑”竞赛吧。在这个竞赛中，为了练习机械人行走，我们在竞赛后期给机械人设置了丰富的嘉奖；增长了从这个圆形场地中间起的负L2间隔，而且将其设置为机械人取得的丰富嘉奖。机械人一开端的时刻可使用这些嘉奖在竞赛场地内作出一些举措和反响，然则我们会在练习中把嘉奖静静地清零。如许一来，在接上去的练习迭代中，机械人才网job.vhao.net会为了获得更多的嘉奖，自发地对本身的举措和技巧停止优化。
设计出有助于这些技巧练习的义务和情况并不是弗成能，但这不只须要研讨员消耗年夜量的精神，还须要他们具有独到的创意。另外，机械人的行动也能够会由于人类设计师在设计中涌现的成绩而变得更庞杂。经由过程不计其数次的迭代优化，我们可以或许开辟出更好的机械人，进而可以发明出功效壮大的AI体系，该体系可以或许自我引诱，并完成机能自我优化。在Dota2项目中我们也能发明相似的自我优化景象。在Dota2项目中，“自我对局”练习让我们胜利发明出了一个可以或许在电子竞技的solo版本中击败顶级人类玩家的强化进修机械人。
迁徙进修
这些机械人还能停止“迁徙进修”，它们可以或许把在一场景进修到的技巧应用于另外一个从未接触过的场景。在一个案例中，我们给那些经由了“摔角相扑”练习的机械人设置了一个义务，让它们在强风中一直坚持站立。成果是，那些疏忽这个强风情况的机械人可以或许一直坚持竖立，而接收过传统强化进修练习的机械人在测验考试行走时则会连忙摔倒。
过拟合
我们的机械人会与“co-learning战略”产生过拟合，该战略是针对某些特定的敌手而设计的，然则在面临新的敌手时，这个战略就会掉效。针对这一成绩，我们的处理计划是——让机械人与多个分歧的敌手停止“较劲”。这些敌手来自于一系列的战略，个中有同步练习或晚期练习的战略。面临这些林林总总、作风纷歧的敌手，机械人就必需进修更多通用的战略和技巧，如许能力“来者不惧”。
