经验啦

  1. 首页 > 生活杂烩 > 游戏 > >

让AI做个人吧！探究游戏AI的拟人性问题( 七 )


不同于研究领域中RL的重点更多倾向于关注“更高的分数、更强的决策” ， 而实际业务中甲方爸爸的的要求是“高拟人性、高多样性、高可靠性、覆盖各个能力段” 。 这二者之间的目标差距为rewardshaping带来了更大量的工作量 。
长远来看 ， 网络设计在学术界已有诸多的NAS(NetworkArchitectureSearch)相关研究 ， 可以自适应的生成效果差不多的网络结构 ， 与实际业务的相关性较低 。 而特征工程和奖赏设计则都与业务强相关 ， 不仅要对ML/DL/RL有相当的经验 ， 也需要对业务有相应的理解才能训练出甲方爸爸满意的 ， “像人一样的”强化学习模型 。
当有了“模型能够做出像各种各样不同玩家能做出的行为” ， 这一普遍需求后 ， 如何利用真实玩家行为引导强化学习模型训练的想法就会自然而然的浮现出来 。 也就是如何利用模仿学习 ， 推进现有的强化学习训练进一步提升拟人性、多样性 。
Avatar框架内设计
Avatar设计简述
以PVE类型的游戏（无需与其他玩家对抗）为例 ， Avatar训练框架核心包含了三个服务——AgentServer,ActorServer和LearnerServer 。 核心交互、MDP处理工作由AgentServer完成 ， 其处理与游戏客户端和另外两个server的交互（如下图所示 ， 红色部分由业务方实现)当客户端连接后 ， 轮询等待预测请求 ， 并从对应的预测服务中获取结果 ， 返回给客户端 。 当积累够一定数量的预测数据后 ， AgentServer将其组装成训练样本发送给训练服务；
让AI做个人吧！探究游戏AI的拟人性问题
文章图片
ActorServer预测训练网络当前policy返回的动作结果；LearnerServer则负责对网络进行异步训练 ， 并定期同步参数给ActorServer 。
辅助网络设计
从框架设计角度考虑 ， 模仿学习可以理解为利用某种监督学习手段提升强化学习训练效果的一种方法 ， 我们将这类网络称之为辅助网络（AuxiliaryModel) 。 为了降低业务方的学习成本 ， 以及尽可能保证框架的模块化、通用性 ， 我们完全复用了Actor和Learner模块 ， 仅新增对监督学习模型配置、输入数据标准标准定义以及lossfunction支持 。
这设计过程中 ， 我们重点处理的依然是模型间的交互流程 ， 以及模型与游戏间的交互方式的变化 。 我们认为 ， 在MDP结构下 ， 辅助网络对强化学习主模型训练主要影响位点有以下三处：影响policyaction；影响某个state ， 或state/action组合的reward；增加额外的loss 。
由此 ， 我们额外开放了交互接口（如下图所示） ， 业务实现代码可以获取每个网络的预测结果 ， 并自由选择交互时机 。
让AI做个人吧！探究游戏AI的拟人性问题
文章图片
模仿学习实现
具体到模仿学习的实现 ， 我们实现了对抗式模仿学习 ， 模仿学习被认为是“影响到reward的监督学习模型” ， 主要负责判别当前状态（动作）是否是符合人类行为的状态（动作） 。 在实际训练过程中 ， 模仿学习模型和强化学习模型一同训练 。
让AI做个人吧！探究游戏AI的拟人性问题
文章图片
在业务同学侧 ， 使用模仿学习仅除了设计网络结构之外 ， 仅需要处理主模型在生成训练样本时叠加模仿学习输出的奖赏 ， 以及将人类行为数据引入到模仿学习训练过程中即可 。
模仿学习在竞速类游戏上的探索
我们已经尝试在竞速类游戏上对对抗式模仿学习进行了初期探索 ， 将不同赛道地图中使用业务中已上线的不同能力段模型的录像数据视为模仿学习的行为数据 。 同时 ， 我们去除了reward_shaping中所有人工设计的奖赏 ， 仅保留模仿学习输出和最终圈速与目标圈速的相近程度作为实际奖赏 。

相关经验推荐


上一篇：梦幻西游:玩家鉴定军火血亏,第二天重振旗鼓,鉴定出109级神器

下一篇：哈利手游版本T0卡组！哈利回响全面加强，虎牙杀戮：MA2第一