游戏论坛一个AI玩41个游戏，谷歌最新多游戏决策Tran新游戏ormer综合表现分是DQN的两倍

最新游戏新闻 · 发表于 2022-7-24 12:09:44

Alex 发自凹非寺

量子位 | 公众号 QbitAI
谷歌AI宣布，在多任务学习上取得了巨大进展：
他们搞出一个会玩41款雅达利游戏的AI，而且采用的新训练方法比起其他算法，训练效率大大提升！

此前会玩星际争霸的CherryPi和火出圈的AlphaGo都属于单游戏智能体（Agent），也就是说，一个AI只会玩一种游戏。
多游戏智能体这边，现有的训练算法屈指可数：主要包括时间差分学习算法（Temporal Difference Learning，TD）和行为克隆（Behavioral Cloning，BC）等。
不过为了让一个智能体同时学会玩多款游戏，之前的这些方法的训练过程都很漫长。
现在，谷歌采用了一个新决策Tran最新ormer架构来训练智能体，能够在少量的新游戏数据上迅速进行微调，使训练速度变得更快，而且训练效果也是杠杠的——
该多游戏智能体玩41款游戏的表现综合得分，是DQN等其他多游戏智能体的2倍左右，甚至可以和只在单个游戏上训练的智能体媲美。

△ 100%表示每款游戏的人类平均水平，灰色条代表单游戏智能体，蓝色条代表多游戏智能体
下面就来看看这个性能优秀的多游戏智能体。
新决策Tran最新ormer三大亮点
这个处理多款游戏学习的Tran最新ormer，采用了一个将强化学习（Reinforcement Learning，RL）问题视为条件序列建模的架构，它根据智能体和环境之间过去的互动以及预期收益，来指导智能体的下一步活动。
说到强化学习，其讨论的主要问题是：在训练过程中，一个面对复杂环境的智能体，如何通过在每个Time Step里感知当前状态和Reward来指导下一步动作，以最终最大化累计收益（Return）。

传统的深度RL智能体（如DQN、SimPLe、Dreamer等）会学习一个策略梯度（Policy Gradient），让高Reward的轨迹出现概率变大，低Reward的轨迹出现概率变小。
这就导致它出现一些问题：即需要手动定义一个信息量很大的标量值范围，包含针对于每个特定游戏的适当信息。这是个相当浩大的工程，而且拓展性较差。
为了解决这个问题，谷歌团队提出了一个新方法。
训练纳入数据更多样化
谷歌的这个新决策Tran最新ormer，把从入门玩家到高级玩家的经验数据都映射到相应的收益量级（Return Magnitude）中。
开发者们认为，这样可以让AI模型更全面地“了解”游戏，从而让其更稳定并提高其玩游戏的水平。
他们根据智能体在训练期间与环境的互动，建立了一个收益的大小分布模型。在这个智能体玩游戏时，只需添加一个优化偏差来提升高Reward出现的概率。
此外，为了在训练期间更全面地捕捉智能体与环境互动的时空模式，开发者还将输入的全局图像改成了像素块，这样模型就可以关注局部动态，以掌握游戏相关的更多细节信息。

△ 决策Tran最新ormer基本架构示意图
可视化智能体训练过程
此外，开发者们还别出心裁地将智能体的行为可视化。
然后他们发现，这个多游戏决策智能体一直都在关注着包含关键环境特征等重要信息的区域，而且它还可以“一心多用”：即同时关注多个重点。

△红色越亮表示智能体对那块像素的关注度越高
这种多样化注意力分配也提高了模型的性能。
拓展性更好
如今规模已成为许多机器学习相关突破的重要驱动力之一，而规模拓展一般是通过增加Tran最新ormer模型中的参数数量来实现的。
研究者发现，这个多游戏决策Tran最新ormer也是类似的：随着规模扩大，和其他模型相比，其性能提升显著。

Facebook也在研究决策Tran最新ormer
谷歌AI使用决策Tran最新ormer不仅提高了AI玩多个游戏的水平，还提升了多游戏智能体的扩展性。
除此之外，据谷歌大脑、加州大学伯克利分校和Facebook AI Research合作的一篇论文介绍，决策Tran最新ormer架构在强化学习研究平台OpenAI Gym和Key-to-Door任务上也表现出色。

或许决策Tran最新ormer正是通用人工智能（AGI）发展的关键因素之一。

PrincessWy · 发表于 2022-7-24 12:10:32

斗罗大陆怎么玩?

JanessaLou · 发表于 2022-7-24 12:12:07

斗罗大陆怎么玩?

显示全部楼层 · 发表于 2022-7-26 11:35:35

提示: 作者被禁止或删除内容自动屏蔽

河源善食行 · 发表于 2022-9-14 03:11:04

游戏感觉还不错

zhengzhixun · 发表于 2022-11-2 18:46:33

斗罗大陆怎么念

平安紫金 · 发表于 2022-11-9 02:21:16

斗罗大陆怎么下架了

520anh123 · 发表于 2022-11-15 09:55:58

这款游戏好玩吗？

asd251314 · 发表于 2022-11-19 22:27:47

斗罗大陆怎么搭配最强的五个魂师

zhengzhixun · 发表于 2022-11-24 10:59:36

感觉游戏还不错

520anh123 · 发表于 2022-11-28 23:31:24

斗罗大陆怎么样

asd251314 · 发表于 2023-1-10 14:54:21

好玩吗？

华兴汽修厂 · 发表于 2023-2-22 06:17:18

怎么玩这个游戏呢

河源善食行 · 发表于 2023-4-5 21:40:15

游戏感觉还不错

蓝周 · 发表于 2023-5-6 10:15:41

你说的这个游戏好玩吗？

冰冰66 · 发表于 2023-6-5 22:51:06

斗罗大陆怎么念

		自动登录	找回密码
密码			立即注册

疯狂厨师该用户已被删除	发表于 2022-7-26 11:35:35 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
疯狂厨师该用户已被删除
	回复支持反对使用道具举报

游戏论坛一个AI玩41个游戏，谷歌最新多游戏决策Tran新游戏ormer综合表现分是DQN的两倍

玩家最新信息

推广达人

宣传达人