AI已能在Dota2的5对5战役打败一般玩家8月将挑战世界第一团队

2017年OpenAI的人工智慧在知名即时战略游戏《Dota 2》的1对1比赛中，击败人类好手Danylo Ishutin（Dendi），而当时Elon Musk就曾夸下海口，在2018年8月OpenAI的人工智慧团队OpenAI Five，就会在五对五游戏中击败世界第一的人类团队。现这个目标看起来越来越接近了，OpenAI Five现在的水準已经达玩家平均之上了。

人工智慧在游戏中赢过人类是一大里程碑，就像之前人工智慧在西洋棋或是象棋中赢过人类一样，但是Dota以及StarCraft这类的即时战略游戏複杂度完全不同，OpenAI表示，操作Dota的人工智慧必须要掌握4个要点，首先是更长的游戏历程，西洋棋多数在40手后结束，象棋比较长约为150手，但Dota游戏平均一局的游戏时间是45分钟，每场游戏需要执行8万次动作，当然有一些行为影响较小，部分行为可以影响游戏战略，而更有一些策略需要在整个游戏中贯彻，OpenAI Five在每场游戏至少需要产生2万次的动作。

另外，人工智慧还要有观察部分区域的能力，由于战雾的关係玩家都只能收集到部分资讯，而西洋棋与象棋都是全讯息公开的。再来Dota是个高连续动作空间的游戏，也就是说每个英雄可以进行数十种动作，许多动作可以对单位或是对地，平均每个英雄有170,000个动作空间，有效动作约略为1,000种，但西洋棋只有35种，象棋也只有250种。最后，人工智慧还需要掌握高维度连续观察空间，OpenAI透过Valve提供的Bot API观察发现，游玩Dota时人类可取得资讯高达2万条，但西洋棋只有70条，而象棋比较多但也仅有400条。

OpenAI Five学习游玩Dota的方法完全来自电脑互相对战，而不使用来自人类的资料，并使用大规模版本的Proximal Policy Optimization进行学习。OpenAI Five花费80％的时间与自己对战，另外20％与过去的自己对战，以避免策略崩溃（Strategy Collapse）。OpenAI Five为了要打过人类，也是很努力的接受训练，系统硬体等级已经与去年训练1对1的人工智慧全然不同，使用的CPU核心数量超过之前的2倍达128,000个，以及256个P100 GPU，每天取得180年的游戏经验，每个角色分开计算则每天约900年。

研究人员认为，要人工智慧掌握长时间游戏历程并非一件容易的事，需要从根本上的改进演算法，他们并透过延长未来奖励的半衰期，让人工智慧在选择动作时倾向以未来为重。专业Dota评论员Blitz透过观看OpenAI Five对战的情形推测，其目前程度大概落在玩家的中位数，尽管人工智慧最后一击表现较弱，但是已能合作使用常见的专业策略，在地图控制上也会倾向取得长期回报而牺牲短期回报。

目前为止，OpenAI Five在5月15日跟程度落在第46百分位数的最佳OpenAI员工队打成平手，但在6月6日，OpenAI Five压倒性的打败最佳OpenAI员工队，另外还打败了团队成员未曾一起合作过，但程度落在第90到99百分位数的观众队，以及成员排名落在第46到90百分位数的Valve员工队。除此之外，与第93百分位数的业余队还有第99百分位数半职业队交战的结果，在前三场比赛取得三战两胜的佳绩。由此趋势看来，8月OpenAI Five与世界第一团队之战，还颇具看头。