비 소리를 듣다 | 압비사에서
쿼크비 | 공식 계정 QbitAI
VAST 세계 모델, 오늘 새로운 성과가 있었습니다.
실시간 세계 모델 EdenLive가 공식적으로 출시되고 오픈소스로 공개되었습니다.
VAST에 따르면, EdenLive는 실시간 생성의 전제 하에서 임의의 참조 입력, 임의의 스타일 생성, 그리고 장시간 연속 운영을 모두 수행하는 첫 번째 사례입니다.
구체적으로는 단순화된 시나리오나 참고 영상을 제공하고, 목표 첫 프레임과 힌트 문구를 추가하면 참고된 레이아웃과 움직임을 따라 계속해서 사실적이고 2D 스타일의 다양한 화풍의 섬세한 이미지를 생성할 수 있다.
참고 자료는 다양할 수 있으며, 그림 스타일을 지정할 수도 있습니다. 이러한 변화들은 실시간 생성 과정에서 모두 나타납니다.
단일 소비급 그래픽 카드인 Nvidia RTX 5090에서 720P 환경에서 5B 모델의 생성 속도는 24FPS를 초과합니다, 그리고 분 단위의 영상을 지속적으로 생성할 수 있습니다.
VAST에 따르면, 사용자가 입력하는 작업부터 해당 화면이 나타나기까지의 시스템의 종단간 지연은 백밀리초 수준입니다.
화면이 지속적으로 변동하는 동안, 상호작용 규칙과 세계 상태는 상위 상호작용 시스템에 의해 유지됩니다. 시스템은 플레이어의 조작을 받아 상태를 업데이트하고, EdenLive는 해당 참조 화면에 따라 이러한 변화를 실시간으로 표현합니다.
최근에 AI의 3D 시각화 구축 및 상호작용 창작 능력이 점점 더 직관적으로 변하고 있습니다.
GPT-6 Astra는 전형적인 예시입니다: 이 모델은 Blender에서 집을 구축한 다음 Unreal Engine 5로 전환하여 들어갈 수 있고 탐험할 수 있는 환경을 만들 수 있습니다.
AI가 시나리오를 구축하고 상호작용 방식을 설계할 수 있게 되면, 이러한 내용들이 어떻게 정교하고 실시간의 시각적 표현을 얻을 수 있는지가 다음에 해결해야 할 문제가 됩니다.
이러한 배경 하에서, 한 가지 기술적 접근 방식이 점차 업계의 공통된 인식으로 자리 잡고 있습니다: 인터랙티브 시스템이 기본 상태와 운영 규칙을 관리하고, 생성 모델이 시각적 렌더링을 담당한다.
그리고 이 분업 체계는 VAST가 올해 6월 초에 이미 명확히 하고 결과를 공개했습니다.
당시 공개된 Project Eden 연구 프리뷰에서는 「상태 유지 관리와 시각 렌더링의 분리」를 핵심 설계로 삼았습니다.
시간적으로 보면, 이 경로 선택은 업계 공감대가 형성되기 약 3~4개월 전에 이루어졌습니다.
현재 EdenLive은 이 경로의 단계적 성과로 발표되며, 모델 가중치와 추론 코드를 공개하고, 기술 보고서와 엔드투엔드 Demo도 동시에 공개되고 있습니다.
코드:
https://github.com/VAST-AI-Research/EdenLive
프로젝트 홈페이지: https://vast-eden.ai/?p=edenlive
기술 보고서:
https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf
개방된 가중치:
https://huggingface.co/VAST-AI/EdenLive
다양한 참고 입력에 따라, 다양한 스타일의 그림이 실시간으로 생성됩니다
EdenLive의 핵심 가치는 시나리오와 인터랙션 콘텐츠를 단순화하기 위해 고품질 실시간 렌더링을 제공하는 것이며, 기본적인 로직과 상태는 상위 인터랙션 시스템이 계속해서 관리합니다.
그것은 구체적으로 무엇을 할 수 있을까요? 먼저 데모를 한 번 보겠습니다.
인터랙티브 게임 미리보기
먼저 인터랙티브 게임 미리보기가 있습니다. 2D, 3D 시각화도 지원됩니다.
현재 단계에서 EdenLive는 장면 탐색, 상자 밀기와 같은 상대적으로 드물게 발생하는 인터랙션에 더 적합하며, 창작자는 게임 프로토타입을 조작하면서 세밀한 화면 하단의 표현 결과를 확인할 수 있다.
【이곳에는 영상을 삽입할 수 없어 아쉽습니다… 퀴닉위 공식 계정에서 확인하세요～】
예를 들어 마그마가 난이도를 통과할 때, 캐릭터는 냉동총으로 정착 지점을 만들고, 점프를 통해 계속 전진합니다.
이러한 게임 화면이 조작이 지속됨에 따라 업데이트될 수 있도록 하려면 먼저 생성 속도가 따라잡아야 한다.
VAST가 발표한 데이터에 따르면, 단일 소비자용 그래픽 카드 RTX 5090, 720P 조건에서 EdenLive의 5B 모델 생성 속도는 24FPS를 초과하며, 즉 초당 24프레임 이상의 화면을 생성한다.
또 다른 데모인 두 사람 대결 게임에서는 캐릭터의 동작과 체력 바, 회복 시간 등 게임 상태의 상호 작용을 구체적으로 보여줍니다.
화면 업데이트 속도와 키를 누르고 나서 피드백이 나타나는 시간도 상호작용 경험에 직접적인 영향을 미칩니다.
VAST에 따르면, EdenLive는 현재 사용자 입력부터 해당 화면이 나타나기까지의 전체 지연 시간이 백밀리초 수준입니다.
이 시스템은 분 단위의 연속적인 생성도 지원하여, 시각적 탐색과 연속적인 조작에 더 넓은 범위를 제공합니다.
장면과 애니메이션 미리보기
게임 상호작용 외에도 EdenLive는 시각화 및 애니메이션 미리보기에도 사용될 수 있습니다. 시각화 레이아웃과 카메라 움직임이 확정된 후, 다양한 아트 스타일을 적용할 수 있습니다.
예를 들어, 모두가 매일 즐기는 '펭귄 자전거 타기'가 실제로 이루어지게 하기 위해...
이렇게 생생한 펭귀를 본 적이 없어요.
생성 화면은 깃털과 해변 환경에 세밀한 질감을 부여할 뿐만 아니라 실제와 같은 빛과 그림자를 시뮬레이션하기도 했습니다.
간단한 모델로 만들어진 눈길 주행 장면은 EdenLive를 통해 생성되었으며, 더 사실적인 차체 질감, 눈과 빛의 효과도 나타났습니다.
이러한 화면들의 생성은 세 가지 유형의 입력에 의해 제어됩니다: 참고 화면은 장면 배치와 카메라 구도, 움직임을 제공하고, 목표 첫 번째 프레임은 전체 외관과 스타일을 설정하며, 지시어는 스타일과 세부 사항을 보완합니다.
따라서 동일한 레이아웃과 운영 장치를 사용하여 서로 다른 미술 스타일의 버전을 생성할 수 있으며, 이는 감독과 컨셉 디자이너가 비교하고 선택하는 데 사용됩니다.
비디오 재렌더링 및 캐스팅
기존 비디오도 EdenLive에 넘겨서 재렌더링할 수 있으며, 캐릭터 이미지, 화면 콘텐츠 및 전체 스타일을 실시간으로 변경할 수 있습니다.
예를 들어, 파란색 배경 앞의 실사 인물을 캐릭터로 변환하지만, 인물의 자세와 의상 색상은 참고 화면과 동일하게 유지됩니다.
이러한 사용법은 가상 아나운서가 이미지를 바꾸는 것과 유사하며, 실제 사람의 동작을 참고하여 다른 캐릭터의 외모를 생성합니다.
또 다른 예로, 실제 건물을 손으로 그린 애니메이션 스타일로 변환하는 것도 있습니다.
집의 대략적인 구조는 그대로 유지되었으며, 지붕, 벽면, 창틀은 선으로 다시 그려졌고, 색상과 빛과 그림자도 더욱 부드러워졌습니다.
체형 데이터 강화
EdenLive는 몸을 가진 데이터 강화에도 사용될 수 있으며, 실제 인간의 조작 화면을 로봇 시점으로 변환하고 첫 번째 시점 비디오의 물체와 외관을 수정할 수 있습니다.
예를 들어 이 영상에서 사람들이 분무통과 걸레를 들고 테이블 표면을 청소하고 있습니다.
EdenLive에 생성된 후, 두 손은 기계손으로 바뀌고, 걸레는 주황색에서 노란색으로 변했지만, 청소 동작은 원본 비디오와 동일하게 유지되었다.
대체 작업 주체를 변경하는 것 외에도, 1인칭 시점 비디오의 물체, 재질 및 색상도 조정할 수 있습니다.
예를 들어 사람의 손을 금속 기계 팔로 교체하고, 케이블카의 손잡이를 은색 금속 질감으로 바꾸지만, 잡고 밀는 동작은 원본 비디오와 동일하게 유지됩니다.
이렇게 하면 기존의 조작 영상을 다양한 외형의 버전으로 변환할 수 있으며, 지시적 연구를 위한 비디오 샘플을 확장할 수 있습니다.
간단한 2D 애니메이션, 3D 장면부터 실제 영상과 제1시점 조작 화면까지, 이러한 다양한 소스의 자료들은 EdenLive의 참고 자료로 활용될 수 있습니다.
동일한 모델을 사용하여 다양한 참조를 받고, 기존의 레이아웃과 움직임에 따라 시각적 표현을 변화시키며, 실시간으로 분 단위의 연속적인 방식으로 화면을 생성하는 것이 이 데모 세트가 공통적으로 보여주는 핵심 능력입니다.
현재 단계에서 EdenLive에도 개선이 필요한 부분들이 여전히 존재합니다.
고속이고 격렬한 상호작용은 생성 속도와 동작 표현에 더 높은 요구를 가집니다; 여러 캐릭터가 동시에 등장할 때의 정체성 유지, 작은 물체의 세밀한 제어, 그리고 장시간 동안의 시각적 일관성도 더욱 향상될 여지가 있습니다.
하지만 VAST는 다양한 규격의 모델 가중치와 추론 코드를 공개했으며, 기술 보고서와 위에서 언급한 엔드투엔드 데모도 공개했습니다.
공식적으로는 Game Prototype Turbo라는 오픈소스 <“Prompt to Proxy Game” Skill도 동시에 공개될 예정입니다.
사용자는 이를 통해 즉시 플레이할 수 있는 게임 프로토타입을 빠르게 생성할 수 있습니다. 게임이 실행되는 동안 상호작용 시스템은 상태를 지속적으로 업데이트하고 해당하는 간소화된 참고 화면을 출력합니다. EdenLive는 이러한 화면들을 실시간으로 정교한 시각 콘텐츠로 렌더링하여 플레이어에게 전달함으로써, 게임 논리부터 실시간 시각 표현에 이르는 완전한 연쇄를 형성합니다.
모두가 한번 경험해 볼 수 있습니다～
에덴라이브 기술 방향 및 핵심 장벽 분석
다음으로, EdenLive의 기술적 접근 방식이 어떤지 살펴보겠습니다.
그가 사용한 핵심 기술은 「세계 상태와 시각 렌더링을 분리하는 기술」입니다. 즉, 세계가 어떻게 작동하는지와 화면이 어떻게 표현되는지를 별도로 처리하는 것입니다.
예를 들어 이런 거리 싸움 데모 같은 경우:
캐릭터의 이동, 공격, 방어는 플레이어가 해당 키를 누르면 제어됩니다; 인터랙션 시스템은 조작을 받아 캐릭터의 위치와 동작을 업데이트하고, 공격이 적중했는지, 체력이 어떻게 변하는지 판단합니다.
EdenLive는 이러한 변화에 따라 화면을 생성하여, 왼쪽의 단순한 블록 캐릭터를 오른쪽에서 더 사실적인 인물로 표현합니다.
플레이어가 화면 피드백을 보고 다시 키 입력을 계속하면, 게임은 이 순환 과정을 거쳐 진행됩니다.
이 분업 체계를 전체 라인에 적용하면 더 직관적으로 볼 수 있습니다:
그림에서는 단순화된 시나리오 또는 참고 비디오가 레이아웃과 움직임을 제공하며, 목표 첫 프레임과 히스토그램이 외관과 세부 사항을 지정합니다.
EdenLive는 이러한 입력을 결합하여 정밀한 화면을 지속적으로 출력합니다; 게임 로직과 상태 업데이트는 상위 인터랙션 시스템이 담당합니다.
이것은 Project Eden에서 EdenLive의 역할을 보여줍니다.
프로젝트 에덴은 VAST가 장기적으로 추진하는 세계 모델 연구 프로젝트이며, 에덴라이브는 실시간 생성형 렌더링에 초점을 맞춘 단계적 성과입니다.
파이프라인은 명확해 보이지만, 실제로 구현할 때는 여러 가지 사항을 동시에 고려해야 합니다:
화면이 충분히 섬세하고 동작이 참고 사항에 맞게 이루어지며, 생성 속도는 상호작용 요구사항을 충족시키고 지속적으로 작동할 수 있다.
이는 데이터를 어떻게 수집하고 매칭하는지, 그리고 3D 및 비디오 생성과 시스템 공학 사이의 협력 방식에 관한 것입니다.
먼저 데이터 축적입니다.
모델이 단순한 블록 캐릭터를 사실적인 인물로 생성하고 참조 화면과의 동작을 일치시키려면, 참조 화면과 생성된 화면 사이의 대응 관계를 구축해야 합니다.
장면 배치, 카메라 움직임 및 물체 위치는 모두 데이터에서 일치해야 합니다.
VAST에 따르면, 그 데이터 파이프라인은 2D, 3D 단순 시각화 장면, 엔진 렌더링 및 실제 비디오 등 다양한 소스의 쌍으로 된 데이터를 포함합니다.
자료 수집, 장면 구축, 데이터 매칭까지, 이러한 작업들이 모두 에덴라이브의 다양한 참조 및 장면 처리 능력을 뒷받침하고 있습니다.
두 번째 층의 축적은 다학문적 팀 협력에서 비롯됩니다.
EdenLive는 3D, 비디오 생성 및 시스템 공학에 관련됩니다. 공간 구조와 움직임 제약을 처리하는 동시에 세부적인 시각 효과를 만들어내고, 모델이 충분히 빠른 속도로 지속적으로 작동하도록 해야 합니다.
그리고 VAST의 팀 구성이도 이 여러 방향을 모두 포함하고 있습니다.
이러한 요구사항들은 동일한 시스템 내에서 조정되어야 합니다. 화면 품질이 향상된 후에 추론 속도가 그에 맞출 수 있는지, 외관이 변경될 때 캐릭터의 동작이 참고 자료와 일치할 수 있는지 등은 모델과 엔지니어링 팀이 함께 해결해야 합니다.
세 번째 단계의 축적은 경로 판단 및 지속적인 연구 개발입니다.
이전에 공개된 Project Eden 연구 프리뷰에서, VAST는 「분리화」 디자인을 명확히 제시했습니다:
세계 상태와 시각 생성을 분리하여, 기본 상태가 카메라 시점과 독립적으로 지속적으로 존재하도록 하며, 렌더링 모듈이 이를 화면으로 표현합니다.
이 개념을 바탕으로 VAST는 세 층의 아키텍처를 더욱 구체화했습니다. 지속적으로 발전하는 구조화된 상태, 상태에서 관찰로의 인터페이스, 그리고 생성형 신경 렌더링으로, 각각 상태 유지, 관찰 전환, 화면 생성의 역할을 담당합니다.
이 경로 선택은 업계 공감대보다 약 3~4개월 앞당겨졌습니다. 이 기간 동안 팀은 정해진 방향으로 데이터를 축적하고 모델 및 시스템의 연구 개발을 계속할 수 있는 기회를 가졌습니다.
3D의 길을 따라, 상호작용 가능한 세계로 나아가다
이 분업 구조를 보면, EdenLive는 여전히 VAST의 기존 방향을 이어가고 있습니다.
상호작용이 가능한 세계를 구축하려면 캐릭터, 아이템, 시각적 자산이 필요하며, 물체의 위치, 크기 및 공간 관계도 명확해야 합니다. 3D는 이러한 내용들을 조직하고 조작할 수 있는 기반을 제공하며, 세계 상태를 표현하는 데 참여합니다.
비디오 생성은 세심한 시각적 표현을 담당하며, 기존의 구조와 움직임을 풍부한 재질, 빛과 그림자, 동적인 효과로 변환합니다.
두 가지를 결합하면, 창작자가 시나리오와 플레이 방식을 조정하는 동시에 적절한 영상을 얻을 수 있다.
이는 또한 VAST가 왜 더욱 세계 모델 연구로 나아가는 이유를 설명해줍니다.
기존의 3D 모델의 기능은 자산 생성 외에도 세계 모델을 구성하는 데 필요한 데이터를 생성하는 데에도 참여할 수 있습니다.
Project Eden 연구 소개에서 VAST는 팀이 기존의 3D 능력을 활용하여 비디오에서 깊이, 카메라 위치 및 기하학적 움직임 궤적과 같은 구조 정보를 추출한다고 언급했습니다. 동시에 게임 엔진을 이용해 서로 대응하는 상태 정보와 렌더링 화면을 얻는다고 했습니다.
이러한 작업은 VAST이 이전에 3D 모델과 데이터 파이프라인 분야에서 축적한 경험을, 세계 모델이 해결해야 하는 구조, 상태, 시각적 대응 문제로 확장시켰습니다.
창작 프로세스 관점에서 이 경로는 사용자가 수행할 수 있는 작업의 범위를 점차 확대하고 있습니다: 캐릭터와 아이템을 생성하고, 장면을 구축하며, 상호작용 규칙을 추가하고, 실행 중인 콘텐츠에 다양한 시각적 표현을 부여합니다.
이는 또한 VAST가 제시한 비전과도 일치합니다: 모든 사람이 자유롭게 창조하고 상호작용할 수 있는 세계를 경험할 수 있도록 하는 것.
Project Eden은 이러한 장기적인 탐구를 수행하고 있으며, EdenLive는 그 중에서도 실시간 생성형 렌더링 단계를 먼저 추진하고 있습니다.
창작자에게는 더 구체적인 접근 방식도 제공됩니다. 이미 작동하는 시나리오와 플레이 방식을 모델에 통합하여 실제 사용 중에 화면 효과를 테스트하고, 그 기반 위에서 자신의 작품을 계속 수정할 수 있습니다.
또 하나
잠깐, 지금은 떠나지 마세요.
관심이 있다면, VAST도 이러한 연구를 위해 새로운 직원을 찾고 있습니다.
그가 출시한 V·STAR 최고 인재 프로그램은 일년 내내 채용을 개방하며, 전 세계의 청년 알고리즘 및 연구 인재를 대상으로 합니다. 3D 생성 기반 모델, 3차원 이해, 스마트 아트 및 세계 모델에 중점을 둡니다.
VAST는 개방적이고 평평한 연구 환경을 강조하며, 젊은 연구자들이 새로운 아이디어를 제시하도록 장려합니다. 우수한 기술적 접근 방식은 빠르게 프로젝트로 전환되고 검증될 수 있으며, 인턴들도 핵심 모델 훈련에 참여하고 모델 개발 및 엔지니어링 실무에 깊이 관여할 기회를 가집니다.
대우도 정말 좋다～
전임자든 인턴이든 상위 대기업보다 더 경쟁력 있는 급여를 받을 기회가 있으며, 특히 우수한 인재의 경우 한계가 없고 장기 옵션도 제공됩니다.
문제를 정의하는 자유를 원하고, 처음부터 프로젝트를 시작하며, 최고급 AI 회사가 1에서 100까지의 폭발적인 성장을 경험하고, 가장 소중한 창업 경험을 얻고 싶다면 이 제출 채널을 시도해 보세요:
이력서는 vstar.talent@vastai3d.com으로 보내주시기 바랍니다. 이메일 제목에는 VSTAR – 이름 – 졸업일을 명시해 주세요.
— 완 —
양자비 QbitAI · 헤드라인 계약
우리를 팔로우하여 최신 기술 동향을 즉시 접하세요