腾讯AI Lab x 王者荣耀:开放让「AI+游戏」想象力落地

国内新闻 浏览(992)



8月18日,国王荣耀“无限开放计划交流会”在深圳举行。这是“梦想之旅”的开始。

国王荣耀计划的执行制片人黄兰奇宣布推出天宫项目,进一步打开了国王荣耀对外界游戏的核心,推动了游戏生态的演变。该程序将打开游戏的地图,角色和图表到该级别的编辑功能。外部工作室和个人可以自由地创建新的游戏玩法,并有机会去游戏以满足玩家。它是2亿用户想象力的表达。国王的荣耀也将结合游戏玩法和现场互动,例如开发新形式的现场互动互动,如窗帘蛋和自定义游戏。

img_pic_1566360458_0.jpg

腾讯AI Lab x King's Glory x大学,共同打造“AI +游戏开放平台”

img_pic_1566360459_1.jpg

腾讯人工智能实验室主任杨澜也介绍了基于国王荣耀的“AI + Games”开放平台计划。以下是演讲全文。主要内容包括当前行业研究现状,主要研究方法和难点,腾讯人工智能实验室的研究进展,联合王荣耀发展“启蒙”的过程,以及未来的开放计划。

img_pic_1566360459_2.jpg

人工智能研究近年来已成为国际科技公司的必需品。 2016年,谷歌将其未来发展战略调整为“AI First”。 Facebook将AI视为发展的核心。 2017年,微软还提出了“成为人工智能行业领导者”的新愿景。

该游戏是测试AI功能的试金石。人工智能的两个划时代的事件与游戏有关。一个是DeepBlue中第一个在1997年击败国际象棋的人,另一个是2016 AI AlphaGo击败李世石。

下一个里程碑在哪里?从顶尖的人工智能公司DeepMind,OpenAI到微软都宣布了在星际争霸和Dota2方向上的研究进展,答案很清楚:复杂的战略游戏可能是下一个宝藏。

0×251f

事实上,在游戏应用场景中,人工智能研究并不是一个新的话题。几乎所有重要的游戏都有人工智能数字,从人工智能+游戏的技术开发阶段可以看出:

件触发不同的状态转换。该方法的优点是设计简单,易于实现,缺点是随着状态的增加,设计极其复杂。

件驱动的遍历决定当前行为。该方法的优点是逻辑清晰,易于扩展。缺点是很难适应复杂的行为,很难实现拟人化。

最近的人工智能+游戏研究大多基于深度学习方法,主要包括两类,一类是监督学习或模仿学习,另一类是强化学习。监督学习是基于大量标记的训练数据来推导行为预测函数的。该方法的优点是能够模拟不同层次的目标行为,实现良好的拟人化。缺点是它过度依赖于数据,特别是注释数据的质量。

另一种方法是强化学习,它通过建立奖励和惩罚环境来优化人工智能行为逻辑。这种方法的优点是它不依赖现有的数据,能够探索新的策略,甚至超越当前的人类认知。

0×2520个

之前,我们回顾了业界人工智能+游戏的发展。腾讯的进展如何?我会和你分享。

如果人工智能可以在这种环境中学习类似人类的长期战略规划和协作能力,那么它代表了最高级别的多智能体决策。由于挑战和应用的巨大价值,腾讯长期以来一直关注并继续投资开发游戏的技术,并已成为人工智能+游戏领域的先锋。

早在2016年,腾讯人工智能实验室就开始了人工智能+游戏的研究之路。我们当时开发的Go AI“最佳艺术”在UEC杯,AI Dragon Star Wars和Go AI比赛中获得了前三名,并成为中国国家队Go训练的特殊AI。 Go AI的难点在于探索大规模离散决策空间,突破强化学习理论实践的瓶颈,探索超越人类的优化策略。

2017年,在“优秀艺术”之后,腾讯开始在星际争霸II等RTS游戏中进行AI +游戏研究。与Go相比,星际争霸2是一个不完整的信息游戏场景,需要在复杂的连续决策空间中做出长期决策的决策。到了九月,当人工智能在“星际争霸II学习环境”中的一些小游戏中达到其专业水平时,腾讯成为第一个在“星际争霸II”游戏中开发和击败“开放”的人。 AI的代理人。

同年,腾讯人工智能实验室还与King Glory展开了一项联合人工智能研究,并迅速取得了可喜的成果。战略合作人工智能“启蒙”,即具有出色理解能力的人工智能,去年8月达到了国王的最高水平,并在今年8月的国王荣耀世界杯半决赛中通过了5v5团队测试。达到电子竞技的专业水平。 “启蒙”也将迅速从云迁移到移动终端。其1v1移动版“SUPEX Team”于今年8月在China Joy首次亮相,在2,100多场顶级业余选手体验测试中赢得99.8%。

除了RTS和MOBA游戏,我们还在2018年开始了3D FPS游戏的AI开发。难点在于3D环境建模和感知实现视角,移动跟踪等一系列问题的转变。但凭借以往的经验,我们在与清华大学的联合研究后,迅速赢得了Fiz射击游戏VizDoom AI历史上的第一个中国冠军。

img_pic_1566360459_5.jpg

我想重点关注在King的荣耀实验环境中开发的战略合作AI项目“Enthink”。为什么选择在国王的荣耀中学习?原因有以下几点:首先,这是一个多人协作游戏场景,设计高度复杂,具有挑战性,满足高级AI +游戏的研究需求; King Glory团队为运行游戏提供测试环境,帮助构建和开发独立的研究平台,极大地提高了我们的研究效率。第三,这个国家级的游戏拥有众多粉丝,并且拥有良好的声誉,普及和推广。人工智能研究的结果也至关重要。

作为一个典型的人工智能问题,人工智能在国王荣耀的发展中遇到了一些困难:1)地图是巨大的,有些国家在战场迷雾中是不可观察的,信息不完整,没有最优战略; 2)操作顺序空间巨大有多达10 20,000个操作可能性(宇宙中的原子总数只有10到80次幂),这是非常难以探索的; 3)战斗是在两支球队(每队5名球员)进行,需要多种智能。竞争中的合作与合作; 4)从大规模,复杂,连续的实时决策到长期决策的持续博弈,都是为了最终的胜利。总的来说,“情况复杂,信息不完整,我们必须高瞻远瞩,迅速果断”。

面对这个复杂的问题,我们2018年的研究工作主要集中在模仿学习上。通过分层复杂问题,我们模拟了模型设计中的整体情况和微观操作。同时,我们将观察到的视觉信息与宏观矢量数据分开。该模型使用多模态深度网络。学习职业球员的历史,完成了第一版“启蒙运动”,并在2018年KPL秋季决赛中通过了业余顶级球员能力测试。

模仿学习有助于我们更多地理解游戏,但模仿学习的局限性也很明显。通过学习球员的数据很难超越职业球员。因此,我们将开始探索强化学习的解决方案。相当于模仿学习,强化学习建模,我们使用自行设计的One Model,通过模型表达所有英雄,从而实现多个Agent之间的沟通与协作;在我们使用白板学习的同时,让代理从0到1学习策略和操作,不再依赖于人类数据。这相当于使用历史经验来限制代理商的探索。在强化学习框架的构建中,我们构建了一个可以支持复杂游戏的超大型游戏。规模增强的学习框架支持多机多卡GPU同步训练。 CPU使用自行开发的前向推理框架来支持Agent的快速自匹配。自我竞争的速度可以达到每天1500万次;单个GPU卡的训练速度从1800个样本/秒增加到5000个样本/秒。简单来说,在这个自我研究的强化学习平台上,AI战斗一天,相当于普通玩家的440年。

在8月初举行的国王荣耀冠军杯特别会议上,这个AI模型也击败了由职业球员组成的分组,实现了从业余到专业的转变。虽然取得了很好的进展,但“启蒙运动”的发展仍然存在一些问题,我们仍然面临着许多挑战,如强化学习多样性的探索,阵容的BP规则游戏,多英雄的迁移等。扩展,加强学习与模仿学习之间模型升华的问题,等等。我们希望开放资源和能力,并与更感兴趣的大学和学者讨论和研究这些行业问题。

img_pic_1566360459_6.jpg

除了科研工作外,人工智能已逐渐应用于整个国王的荣耀游戏中,系统地解决了玩家的游戏体验问题。

在游戏设计方面,人工智能参与游戏的超人类(游戏内新游戏)和战斗模拟(游戏中的人机训练),这已成为国王荣耀游戏的重要组成部分。 “Super Man Machine”每天的峰值超过1000万次,用户反馈得分也很高。在优化国王荣耀的游戏环境中,也有一些人工智能的贡献。例如,在局的试验系统中,通过对恶意玩家的行为进行建模来识别恶意行为,从而净化游戏环境。在实际效果上,我们还可以通过局内智能审判提醒看到,后期报道率大幅降低;通过后工业智能试验,与以前的模型相比,恶意行为的试验成功率和准确率得到显着提高。游戏结束后,通过人工智能技术自动编辑精彩场景,以及智能教学系统的构建,也为玩家带来了许多体验乐趣。

img_pic_1566360459_7.jpg

今天,我们正在与国王的荣耀一起做AI开放计划,希望在生产,教育和研究方面做更好的合作,分享新的生态。在AI开幕式上,King Glory将打开游戏数据,游戏核心集群和工具。 AI Lab将开辟上述学习平台和强化学习和模仿学习的计算能力。希望大学和研究机构能够共同参与。 AI适用于国王的荣耀。同时,我们还将定期举办相关的能力评估,使平台成为研究人员展示科研力量的舞台。除了科学研究,我们还将为King's Glory游戏提供新的研究成果,为游戏开发者提供更多的AI功能,并开发更多,更新,更好的游戏。通过此次合作,建立产学研合作,建立AI +游戏算法研究和效果验证标准,促进AI +游戏产业升级,促进人工智能研究的发展。同时,通过向游戏开发者推广AI功能,它可以促进更多游戏玩法。升级带来了游戏产业的发展。

img_pic_1566360459_8.jpg

人工智能平台的大学开放计划大致可分为以下几个阶段。计划在2019年11月之前提供人工智能开放平台,收集游戏数据,核心集群和计算能力,并邀请一些大学进行内部测试; 2020年5月全面开放大学测试,并在测试环境中支持1v1,5v5等模式;在2020年12月,我们计划在国王的荣耀应用水平测试中保持第一级AI,以分享AI的研究成果。

img_pic_1566360459_9.jpg

人工智能+游戏的探索是通过游戏的虚拟世界环境帮助人工智能的研究,从游戏开始,但不限于游戏。游戏AI的研究成果可以在短期内为游戏产业和电子竞技产业带来直接的推动和帮助。同时,人工智能的研究成果也可以应用于教育,医疗,农业等行业。从长远来看,人工智能+游戏的研究将推动人工智能的最终目标。一般人工智能问题的探索与发展。