对抗性强化学习应用于真实游戏

2022年1月25日整理发布：该论文没有详细解释研究人员用于强化学习系统的架构。那里的少量信息表明，生成器和求解器使用简单的两层神经网络，有 512 个单元，训练成本不应该很高。但是，本文包含的示例游戏非常简单，强化学习系统的架构应根据目标游戏的环境和动作空间的复杂性而有所不同。

“我们倾向于采取务实的方法，尽量将培训成本保持在最低水平，因为这对于我们的 QV(质量验证)团队来说是一个可行的选择，”Gisslén 说。“我们尝试将每个受过训练的代理的技能范围保持在仅包括一项技能/目标(例如，导航或目标选择)，因为具有多个技能/目标的规模非常差，导致模型的训练成本非常高。”

EA 研究总监兼该论文的合著者 Konrad Tollmar 告诉TechTalks，这项工作仍处于研究阶段。“但我们正在与 EA 的各个游戏工作室合作，以探索这是否是满足他们需求的可行方法。总的来说，我非常乐观地认为 ML 是一种技术，它将成为未来任何 QV 团队中某种形式或形式的标准工具，”他说。

研究人员认为，对抗性强化学习代理可以帮助人类测试人员专注于评估无法用自动化系统测试的游戏部分。

“我们的愿景是，我们可以通过从平凡且重复的任务(例如寻找玩家可能会卡住或跌倒的错误)转移到更有趣的用例(例如测试游戏平衡性、元数据)来释放人类游戏测试者的潜力。游戏和‘乐趣’”吉斯伦说。“这些是我们认为 RL 代理在不久的将来不会做的事情，但对游戏和游戏制作非常重要，因此我们不想花费人力资源进行基本测试。”

RL 系统可以成为创建游戏内容的重要组成部分，因为它将使设计师能够在创建环境时评估其环境的可玩性。在他们论文随附的视频中，研究人员展示了关卡设计师如何在为平台游戏放置积木的同时实时获得 RL 代理的帮助。

Tollmar 认为，最终，这个和其他人工智能系统可以成为内容和资产创建的重要组成部分。

“这项技术仍然很新，我们在生产流程、游戏引擎、内部专业知识等方面还有很多工作要做，才能完全起飞，”他说。“然而，根据目前的研究，当 AI/ML 成为整个游戏行业使用的主流技术时，EA 将做好准备。”

随着该领域研究的不断推进，人工智能最终可以在游戏开发和游戏体验的其他部分发挥更重要的作用。

“我认为随着技术的成熟，游戏公司的接受度和专业知识的增长，这不仅会在测试中使用，而且还会作为游戏 AI，无论是协作、对手还是 NPC 游戏 AI，”Tollmar 说。“当然，一个训练有素的测试代理也可以被想象成一个已发布的游戏中的角色，你可以与之对抗或合作。”