塔斯娱乐资讯网

米哈游做的 Agent 框架 Gamer,可以像人类一样通过看屏幕、用键盘和鼠标

米哈游做的 Agent 框架 Gamer,可以像人类一样通过看屏幕、用键盘和鼠标,自主完成复杂游戏任务。

它在一个由数万小时设备级键鼠交互数据构建的数据集上进行继续预训练。这些轨迹涵盖模拟游戏与具身环境,使模型能够学习物理域与虚拟域中的环境动态规律。随后,稀疏思维指令微调在保留复杂决策所需推理能力的同时,显著减少了冗余计算。并采用一种稳定的多轮强化学习方法训练用于长时程交互的策略,该方法解决了有限上下文窗口、累积轨迹误差以及稀疏奖励等问题。最后为了实现实时交互,云边协同推理引擎可并发服务于大量模拟游戏环境,支持无界上下文执行,并将在线推理延迟保持在较低水平。

论文使用了以 Qwen3-VL-8B 和 Qwen3.5 系列为基础的 VLM。

训练数据包括数千至上万小时的游戏操作轨迹。以《崩坏:星穹铁道》为例,原始数据约有 6.8 万个会话、1.1 万小时录像。

每段数据不只是视频,还包括与画面同步的键盘和鼠标操作。

链接:arxiv.org/abs/2611.18397