OpenAI Five技术梳理(Dota2)

Answer 1

OpenAI Five项目是利用强化学习技术在Dota2游戏中与人类世界冠军对抗的尝试。该项目从零开始，通过自我对战学习提升，能够控制17个英雄中的任意一个，但不会使用所有物品。Dota2的观察信息主要由低维数据组成，与玩家信息有细微差异。策略网络的参数在所有英雄之间共享，输入数据大部分相同，以区分不同英雄。动作是离散的，包含主要动作、延迟、单位选择和偏移。目标选择时运用了注意力机制。

核心算法为Proximal Policy Optimization（PPO）。项目使用分布式PPO与Generalized Advantage Estimation（GAE）结合，一部分CPU和GPU用于收集数据，另一部分GPU用于优化，参数更新存储在Redis服务器上，实现动态调整。网络结构在文中展示，但实际中整个网络被复制了5份以控制5个英雄，并设有一个“cross-hero pool”帮助英雄间信息交流。训练过程持续180天，分布在10个自然月内，包括了网络结构调整、观察/动作空间调整、环境调整等动态训练策略，确保训练过程中的平滑过渡。

奖励设计方面，引入了密集奖励、零和奖励、游戏时间加权奖励以及团队精神奖励。密集奖励详细考虑了各种情况，确保全程零和。为了鼓励探索，对中立生物（如Roshan）的血量进行了随机化，以减少死亡惩罚，促进对Roshan的挑战。时间加权奖励调整了后期奖励的膨胀，团队精神奖励则在初期设置较小时有利于快速学习。

总结：OpenAI Five的成功离不开精心设计的脚本、自我对战、奖励机制、PPO算法及其手术优化（surgery），以及引入的动态调整策略，如minimax算法用于英雄选择。项目报告详尽地涵盖了开发过程中遇到的各种问题和解决方案，对后续挑战者具有极高的参考价值。报告中还提到了手术优化方法的理论依据和实际效果，以及价值网络与策略网络的共享策略，引发了一些讨论。