谷歌出品:大模型生成 RPG 游戏,情节角色全自定义
如今,大型模型可以生成角色扮演游戏。根据用户的初始输入,能够配置游戏的模拟环境,并在该环境中创建角色的行为。
角色能够自由探寻各种场景,并进行各种可能的举动和互动。游戏会根据交互速度,每秒进行一次更新。
利用大模型生成无限游戏
研究团队提出了一个生成无限游戏的概念。
“无限游戏”是以持续游戏为目标的游戏,而生成无限游戏则是利用生成性模型超越传统限制的电子游戏。
无界(Unbounded)是一款完全由生成式模型构建的角色生活模拟游戏。在这个虚拟世界中,您可以通过喂养、游戏和引导角色来与其互动,但必须确保角色的健康状况。
基于此,他们生成游戏的主要特性包括:角色个性化、游戏环境的生成、开放互动以及实时生成。
在语言方面,他们开发了一个基于 LLM 的游戏引擎。这个引擎能够保持游戏机制的一致性,生成连贯的叙事,并实时生成适当的角色反应。
他们的专业模型是在两个高度协作的 LLM Agent 自动生成的数据上微调的,因此不需要人工注释。
以 Gemma-2B 为例,经过微调后的游戏引擎在状态更新、环境相关性、故事连贯性和指令遵循方面表现得更为出色。
在视觉生成方面,他们引入了一种新的动态区域图像提示适配器(Regional IP-Adapter)。该适配器在保持多幅图像视觉一致性的前提下,可以生成相同的角色和环境。
具体而言,它将游戏环境和角色的外观作为生成图像的条件,而这些条件则由交叉注意力层的注意力输出所获得的动态掩码进行调制。
这种方法旨在减小环境与角色之间的干扰,确保二者能够可靠地呈现在场景中。
与以往的方法相比,他们的区域 IP 适配器使用了区块丢弃技术,可以持续生成高度一致的角色和环境图像。
作为上海交大校友
这项研究主要由谷歌和北卡罗来纳大学教堂山分校的团队完成。
其中一位作者 Jialu Li 目前是北卡罗来纳大学教堂山分校的五年级博士生,本科毕业于上海交大,并在康奈尔大学获得硕士学位。
对此项研究,谷歌的导师 Nataniel Ruiz 表示对生成游戏的前景充满期待:未来的大多数游戏都将完全由生成技术构成。
想象一下《龙与地下城》等桌面角色扮演游戏的无限可能——并试着想象这将如何应用于《上古卷轴》或《艾尔登法环》等游戏。
论文链接:
-
https://arxiv.org/abs/2410.18975
-
https://generative-infinite-game.github.io/
参考链接:
-
[1]https://x.com/JialuLi96/status/1849869554719260721
-
[2]https://x.com/natanielruizg/status/1849807021131874583
本文来源于微信公众号:量子位(ID:QbitAI),作者:白小交