要点
- Google Deepmind 推出了 Genie 4,这是一个交互式世界模型,可实时逐帧计算环境,并首次直接生成匹配的背景音频和角色对话。
- Gemini 模型在后台引导事件,规划多步骤任务,并根据用户的文本提示和不断变化的条件持续调整模拟世界。
- Genie 4 仍是一个实验性研究模型,在较长会话和复杂物理方面存在局限。目前访问仅限特定测试者,后续将扩展到 Google AI Ultra 订阅用户。
Genie 4 旨在实时模拟交互式世界,包括声音和会说话的角色。Gemini 模型在后台规划模拟中接下来会发生什么。目前只有特定测试者可以试用这个世界模型。
Google Deepmind 推出了 Genie 4,即 Genie 3的继任者,后者是该公司于 2025 年 8 月展示的。这个世界模型不是生成成品视频,而是逐帧计算场景,并在过程中对输入做出反应。用户使用键盘在场景中移动,并通过文本提示引导事件。
据 Deepmind 称,Genie 4 是该公司首个直接生成声音的实时世界模型。该公司表示,每个世界都有其自己的背景音频,例如树林中的风声。Genie 4 还能处理对话,角色可以相互交谈,并实时对用户输入或事件做出反应。
Deepmind 认为该模型在渲染人物方面的真实感提升最大。角色应能自然移动并对周围环境做出反应,用户也应能直接控制他们。广告
Gemini 模型提前规划以保持世界连贯
据 Deepmind 称,Genie 4 构建在视频模型 Gemini Omni 的能力之上,使世界看起来和行为上都逼真。其他 Gemini 模型则帮助规划模拟以保持其一致性。
如果用户通过文本提示改变天气,Gemini 应将该指令适配到正在运行的场景中。Deepmind 表示,Gemini 还会在输入之间引导事件,使世界以一种合理的方式持续发展。
Deepmind 以多步骤任务解释这一过程。Gemini 3.8 Flash 持续观察场景,将目标分解为步骤,并利用新画面检查每个步骤是否成功。如果世界发生变化或用户介入,该模型会调整其计划。
Deepmind 还在测试 Gemini 4 Argon,以将其 Genie 工作与机器人研究 Gemini Robotics 联系起来。在一个演示中,Argon 将下跳棋的任务分解为若干步骤。Genie 4 将这些步骤作为文本指令接收,并用它们模拟 Apptronik 的人形机器人 Apollo 玩该游戏,全程不涉及真实机器人。广告
较长会话仍会让模型出错
Deepmind 称 Genie 4 是一个早期实验模型。据该公司介绍,在短时间会话中世界保持一致,但在较长模拟中或在多次复杂提示更改后,视觉细节可能发生变化,物体也不总是能够持久存在。
Deepmind 表示,公司仍在研究复杂的物理交互、精确的实时声音以及可读文本。
目前,Genie 4 仅作为研究预览向特定测试者开放。它将很快通过 Project Genie 网页应用面向 Google AI Ultra 订阅用户推出,同时面向获得 Gemini API 和 Google AI Studio 早期访问权限的合作伙伴开放。
Google 表示,所有视频和音轨都将带有其 SynthID 水印,以隐形方式标记 AI 生成的内容。
一旦成熟,世界模型可以用作 训练环境 ,机器人和 AI 智能体可在其中 从模拟经验中学习 而不仅仅是数据。Deepmind 将 Gemini 与 Genie 的结合视为迈向混合世界模型的早期一步，该模型将语言和代码模型的推理能力与像素级模拟相结合。
来源： Google