聽雨 凹非寺より
量子位 | 公式アカウントQbitAI
VASTの世界モデルは、本日新たな成果を出しました。
リアルタイム世界モデルEdenLive、正式にリリースされ、オープンソース化されました。
VASTによると、EdenLiveはリアルタイム生成という前提の下で、任意の参照入力、任意の画風生成、長時間の連続実行を同時に実現した初のシステムだという。
具体的には、シーンや参考動画を簡略化して与え、目標の最初のフレームとプロンプトを添えるだけで、参考のレイアウトと動きに沿って、写実系や二次元などさまざまな画風の精細な映像を継続的に生成できる。
参考ソースは異なっていてもよく、生成スタイルを指定することもでき、これらの変化はすべてリアルタイム生成の過程で表現できます。
単一のコンシューマー向けGPU「Nvidia RTX 5090」上で、720P条件における5Bモデルの生成速度24FPSを超える，さらに分単位の映像を継続的に生成することもできる。
VASTによると、ユーザーの入力操作から対応する画面が表示されるまで、このシステムの現在のエンドツーエンド遅延は数百ミリ秒レベルだという。
画面が変化し続けるその裏で、インタラクションのルールとワールドの状態は上流のインタラクションシステムによって管理されています。システムはプレイヤーの操作を受け取り、状態を更新し、EdenLiveが対応する参照画面に基づいてこれらの変化をリアルタイムに描き出します。
最近、AIの3Dシーン構築とインタラクティブ創作における能力は、ますます直感的になってきている。
GPT-6 Astraその典型例がこれである：すでにBlenderで家屋を構築し、それをUnreal Engine 5に持ち込んで、中に入って歩き回れるシーンを作り上げることができる。
AIがシーンを構築し、インタラクティブなゲームプレイを設計できるようになったとき、これらのコンテンツをいかに精細かつリアルタイムなビジュアル表現で描画するかが、次に解決すべき課題となる。
このような背景のもと、ある技術ルートが次第に業界の共通認識となりつつある。対話型システムが基盤の状態と実行ルールを維持し、生成モデルが視覚的なレンダリングを担当するという仕組みです。。
この分業体制について、VASTはすでに今年6月初めに明確にし、成果を対外的に発表しています。
当時公開されたProject Edenの研究プレビューは、すでに「状態管理と視覚レンダリングの分離」コア設計として。
時間の面から見ると、この路線の選択は業界のコンセンサスが形成されるより約3～4か月早いものであった。
現在、EdenLiveはこの路線の段階的成果として公開され、モデルの重みと推論コードがオープンにされ、技術レポートとエンドツーエンドのDemoも同時に公開されています。
コード：
https://github.com/VAST-AI-Research/EdenLive
プロジェクトページ：https://vast-eden.ai/?p=edenlive
技術レポート：
https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf
オープンウェイト：
https://huggingface.co/VAST-AI/EdenLive
多様なリファレンス入力で、異なる画風のリアルタイム生成
EdenLiveの中核的価値は、簡略化されたシーンとインタラクティブコンテンツに高品質なリアルタイムレンダリングを提供することにあり、基盤となるロジックと状態は引き続き上流のインタラクティブシステムが管理します。
具体的に何ができるのか？まずはデモを一巡見てみましょう。
インタラクティブゲームのプレビュー
まずはインタラクティブゲームのプレビューで、2D・3Dシーンのどちらも接続できます。
現段階では、EdenLiveはシーンの漫游や倉庫番など、インタラクションの頻度が比較的低いプレイに適しており、クリエイターはゲームのプロトタイプを操作しながら、精細な画面での描画結果を確認できます。
【ここには動画を挿入できません、残念……量子位の公式アカウントでご覧いただけます～】
例えば溶岩のステージ攻略では、キャラクターが冷凍ガンで足場を作り、ジャンプを繰り返して先へ進んでいきます。
こうしたゲーム映像を操作に応じて持続的に更新させるには、まず生成速度が追いつく必要がある。
VASTが公表したデータによると、シングルのコンシューマー向けGPU「RTX 5090」、720P条件下で、EdenLiveの5Bモデルの生成速度は24FPSを超えつまり毎秒24フレーム超の画面を生成する。
もう一つのデモである2人対戦格闘ゲームは、キャラクターの動きと体力バー、ラウンドのカウントダウンといったゲーム状態の連携を具体的に示している。
画面の更新速度だけでなく、キーを押してからフィードバックが見えるまでの時間も、インタラクティブ体験に直接影響する。
VASTによると、EdenLiveは現在、ユーザーの入力から対応する画面が表示されるまでのエンドツーエンド遅延は数百ミリ秒レベルである。
このシステムは分単位の連続生成にも対応しており、シーンの漫游や連続操作により長い展開の余地を与える。
シーンとアニメーションのプレビュー
ゲームインタラクション以外にも、EdenLiveはシーンとアニメーションのプレビューに使える。シーンレイアウトとカメラワークが確定した土台のうえで、異なるアートスタイルに差し替えることができる。
たとえば、毎日遊んでいる「ペリカンが自転車に乗る」を現実のものにして……
これほど生き生きとしたペリカンは見たことがない。
生成された映像は、羽や海辺の環境に細やかな質感を与えただけでなく、リアルな光と影も再現している。
シンプルなモデルで組んだ雪道の走行シーンも、EdenLiveで生成すると、より写実的な車体のテクスチャ、積雪、光影の効果が現れた。
これらの映像の生成は、3種類の入力がともに制御している。参照画像がシーンレイアウト、カメラと動きを提供し、ターゲットの先頭フレームが全体の外観と画風を設定し、プロンプトがスタイルとディテールを補う。
そのため、同一のレイアウトとカメラワークを使って、異なるアートスタイルのバージョンを生成し、監督やコンセプトデザイナーが比較・選択することができる。
動画の再レンダリングとスキン替え
既存の動画もEdenLiveに渡して再レンダリングし、キャラクターの姿、画面の内容、全体のスタイルをリアルタイムで置き換えることができる。
たとえば、青い背景の前の実写人物をカートゥンキャラクターに変換しても、人物のポーズや服装の配色は参照画像と一致したままである。
こうした使い方はVTuberのアバター変更に似ており、実写人物の動きを参照として、別のキャラクターの外観を生成する。
またたとえば、実写の家を手描きアニメ風に変換することもできる。
家の大まかなレイアウトは保持され、屋根、壁、窓枠は線で描き直され、色彩と光影もより柔らかくなった。
Embodiedデータ拡張
EdenLiveはembodiedデータ拡張にも使える。実写の人間の操作映像をロボット視点に変換し、一人称視点動画の中の物体や外観を修正できる。
たとえばこの動画では、人間の手が霧吹きと雑巾を持って台所の面を清掃している。
EdenLiveで生成すると、両手はロボットハンドに置き換えられ、雑巾はオレンジ色から黄色に変わったが、清掃の動作は元の動画と一致したままである。
操作主体の置き換えだけでなく、一人称視点動画の中の物体、材質、色も調整できる。
たとえば人間の手を金属のロボットアームに置き換え、カートのハンドルを銀色の金属質感に変えても、掴む動作や押して進む動作は元の動画と一致している。
こうして、既存の操作動画から異なる外観のバージョンを派生させ、embodied研究の動画サンプルを拡充できる。
シンプルな2Dアニメーション、3Dシーンから、実写動画や一人称視点の操作映像まで、こうした異なるソースの素材は、いずれもEdenLiveの参照入力として使える。
同一のモデルで複数の参照を受け取り、既存のレイアウトと動きに沿って視覚表現を変え、リアルタイムかつ分単位の連続生成方式で映像を出力する——これこそが、この一連のデモが共通して示す中核的能力である。
現段階で、EdenLiveにはまだ改善が必要な点も残っている。
高頻度かつ激しいインタラクションは、生成速度と動作の表現により高い要求を課す。複数のキャラクターが同時に登場する際のアイデンティティの保持、小さな物体の精細な制御、そして長時間生成における視覚的一貫性についても、さらに向上の余地がある。
ただし、VASTはすでに異なるスペックのモデルの重みと推論コードを公開しており、技術レポートおよび上述のエンドツーエンドのDemoも公開している。
公式は同時にオープンソース化も行う予定ですGame Prototype Turbo，一款「Prompt to Proxy Game」スキル。
ユーザーはこれを使って、そのまま遊べるゲームのプロトタイプを素早く生成できます。ゲームの実行時、インタラクションシステムは状態を継続的に更新し、対応する簡略化されたリファレンス画面を出力します。EdenLiveはこれらの画面をリアルタイムに精細なビジュアルコンテンツへとレンダリングし、プレイヤーにフィードバックすることで、ゲームロジックからリアルタイムの視覚表示までの完全なパイプラインを形成します。
ぜひみんなさんも体験してみてください～
EdenLiveの技術ロードマップと中核的な参入障壁を解説
次に、EdenLiveの背後にある技術路線がどのようなものであるのかを見ていきましょう。
その採用している中核技術は「世界の状態と視覚レンダリングのデカップリング」、つまり世界がどう動くかと画面がどう表示されるかを分けて処理することです。
たとえば、この街頭対戦デモ：
キャラクターの移動、攻撃、防御は、いずれもプレイヤーが対応するボタンを押すことで操作されます。インタラクションシステムは操作を受け取り、キャラクターの位置やアクションを更新し、攻撃が命中したかどうか、体力がどう変化するかを判定します。
EdenLiveはこれらの変化に基づいて映像を生成し、左側のシンプルなブロックのキャラクターを、右側ではより写実的な人物として表示します。
プレイヤーは画面のフィードバックを見て、さらにボタン操作を続けることで、ゲームはこの一連のループに沿って進行していく。
この分担を完全なパイプラインに当てはめると、さらに直感的に見えてきます。
図では、簡略化されたシーンまたは参照動画がレイアウトと動きを提供し、目標の最初のフレームとプロンプトが外観とディテールを指定します。
EdenLiveはこれらの入力を組み合わせて、精細な映像を持続的に出力します。ゲームロジックや状態の更新は、上流のインタラクションシステムが担当します。
これは、Project EdenにおけるEdenLiveの役割をも示している。
Project Eden「VASTが長期にわたり推進している世界モデル研究プロジェクトであり、EdenLiveはその中でもリアルタイム生成レンダリングに焦点を当てた段階的な成果です。」
パイプラインは明確に見えますが、実際に進める際には、いくつかの事柄を同時に考慮する必要があります。
画面は十分に精細で、動きはリファレンスに追いつき、生成速度はインタラクティブな需要を満たし、さらに継続的に動作し続けられる。
これには、データをどのように収集・ペアリングするか、そして3D、動画生成とシステムエンジニアリングの間でどのように協力するかという問題が関わってきます。
まずはデータの蓄積。
モデルにシンプルなブロック状のキャラクターから写実的な人物を生成させ、かつ参照画像と同じ動作を維持させるには、参照画像と生成画像との間の対応関係を確立する必要があります。
シーンのレイアウト、カメラの動き、物体の位置は、いずれもデータの中で整合させなければなりません。
VASTによると、そのデータパイプラインは2D、3D簡易シーン、エンジンレンダリング、実写動画など多様なソースからのペアデータをカバーしているという。
素材の採取、シーンの構築からデータのペアリングに至るまで、これらの作業がEdenLiveのさまざまなリファレンスやシーンへの対応能力を支えています。
第二の蓄積は次からもたらされる。分野を越えたチームコラボレーション。
EdenLiveは3D、動画生成、システムエンジニアリングに関わります。空間構造や運動の制約を扱うとともに、細部まで作り込まれた視覚効果を生成し、さらにモデルを十分な速度で持続的に動作させる必要があります。
そしてVASTのチーム編成も、これらの方向性を網羅している。
これらの要件は、同一のシステムの中で調整される必要がある。画質が向上した後に推論速度が追いつくか、外観が変化した際にキャラクターの動きが引き続きリファレンスに沿うか、いずれもモデルとエンジニアリングチームが共に解決すべき課題だ。
第三の積み重ねは、路線の判断と継続的な研究開発。
である。以前公開されたProject Edenの研究プレビューにおいて、VASTはすでに「分離（デカップリング）」設計を明確に打ち出していた。
すなわち、世界の状態と視覚生成を切り離し、基盤となる状態がカメラの視点に依存せず持続的に存在するようにし、それをレンダリングモジュールが映像として表現するというものだ。
この考え方をもとに、VASTはさらに三層アーキテクチャを提示した。継続的に進化する構造化された状態、状態から観測へのインターフェース、そして生成的ニューラルレンダリングであり、それぞれが状態の維持、観測への変換、映像生成の役割を担う。
この路線の選択は、業界のコンセンサスより約3～4か月先行していた。この期間こそが、チームが定めた方向に沿ってデータを蓄積し、モデルとシステムを磨き続けるための研究開発の窓となった。
3Dという道を歩み、インタラクティブな世界へ向かう
この分担から見ると、EdenLiveが引き継いでいるのは、これまでのVASTの路線である。
インタラクティブな世界を構築するには、キャラクター、小道具、シーンのアセットが必要であり、物体の位置、スケール、空間的な関係も明確にする必要がある。3Dはこれらのコンテンツに組織化・操作可能な基盤を提供し、世界の状態の表現にも関わる。
動画生成はきめ細かな視覚表現を担当し、既存の構造と動きを豊かなマテリアル、光影、ダイナミックな効果へと変換する。
両者が組み合わさって初めて、クリエイターはシーンやゲームプレイを調整しながら、それに応じた映像を得ることができる。
これはまた、VASTがなぜさらに世界モデル研究へと進んだのかを説明している。
既存の3Dモデルの能力は、アセット生成に加えて、世界モデルに必要なデータの構築にも参加できる。
Project Edenの研究紹介の中で、VASTは、チームが既存の3D能力を活かし、動画から深度、カメラポーズ、幾何学的な運動軌跡などの構造情報を抽出したと述べている。同時に、ゲームエンジンを利用して相互に対応する状態情報とレンダリング画像を取得したという。
これらの取り組みにより、VASTがこれまで3Dモデルとデータパイプラインで蓄積してきたものが、世界モデルが解決すべき構造、状態、視覚の対応の問題へと拡張された。
創作フローから見ると、この路線はユーザーが実現できることを徐々に拡大している。キャラクターと小道具を生成し、シーンを構築し、インタラクションのルールを加え、さらに動作中のコンテンツに異なる視覚表現を与える。
これはまた、VASTが掲げるビジョンにも対応している。誰もが自由にインタラクティブな世界を創造し、体験できるようにする。
Project Edenはこの長期的な探求を担い、EdenLiveはその中のリアルタイム生成レンダリングの部分を先に推し進めている。
クリエイターにとって、これはより具体的な入口も提供する。すでに動作するシーンとゲームプレイをモデルに接続し、実際の操作で映像効果を試し、その上で自身の作品を修正し続けることができる。
One More Thing
待って、まだスクロールしないで。
もし興味があれば、VASTもこれらの研究のために新しい仲間を探している。
同社が打ち出したV·STARトップ人材プログラムは、通年で採用を行っており、世界中の若手アルゴリズム・研究人材を対象に、3D生成基盤モデル、三次元理解、エージェント、世界モデルに焦点を当てている。
VASTはオープンでフラットな研究環境を重視し、若手研究者の新しいアイデアを奨励している。優れた技術のアイデアは迅速にプロジェクト化・検証でき、インターンであってもコアモデルの訓練に参加し、モデルの研究開発とエンジニアリング実践に深く携わる機会がある。
待遇も本当に魅力的〜
フルタイムでもインターンでも、トップ大手企業より競争力のある給与を得るチャンスがあり、特に優秀な場合は上限なし、さらに長期的なストックオプションもある。
問題を定義する自由を持ち、ゼロからプロジェクトを推進し、トップAI企業が1から100へ爆発的に成長する過程を自ら経験し、最も貴重な起業経験を得たいなら、この応募チャネルを試してみてほしい：
履歴書はvstar.talent@vastai3d.comまで送付。メールの件名には必ず「VSTAR – 氏名 – 卒業時期」を明記すること
— 終 —
量子位 QbitAI · 見出しアカウント契約
私たちをフォローして、最先端テックの動きをいち早く知ろう