구글 딥마인드는 화요일 최신 세계 모델인 제니 4를 연구 프리뷰 형태로 공개했습니다. 이 최신 모델은 지금까지 가장 사진처럼 사실적이고 상호작용 가능한 세계를 생성하며, 사용자가 시뮬레이션 도중에 프롬프트를 입력해 장면을 바꿀 수 있습니다. 이 모델은 또한 시뮬레이션된 세계와 일치하는 음악, 주변 소음, 상호작용 대화를 포함한 실시간 오디오를 생성합니다.
제니 4의 공개는 AI 비디오 스타트업 Runway가 두 번째 세계 모델인 GWM Worlds 2를 공개한 지 약 두 달 만에 이루어졌으며, 이는 사용자 입력에 동적으로 반응하고 오디오 생성을 포함하는 플레이 가능한 모델입니다. 동시에 세계 모델 산업은 통합이 시작되고 있습니다. 페이페이 리의 World Labs는 AMD에 인수되고 있으며, 아마존은 Decart 인수를 논의 중이고, Rivian은 Third Dimension을 방금 인수해 자율주행 테스트를 위한 시뮬레이션 기능을 사내로 가져왔습니다.
제니 4는 경쟁이 치열한 이 분야에서 앞서기 위한 구글의 최신 움직임입니다.
구글은 1년 조금 넘기 전에 전작인 제니 3를 연구 프리뷰로 공개했습니다. 훨씬 더 사진처럼 사실적이고 오디오를 갖춘 것 외에도, 제니 4는 날씨나 카메라 각도를 실시간으로 바꾸거나 새로운 사람이나 사물을 추가하는 것 같은 자유로운 편집이 가능합니다. 최대 2분까지 일관된 장면을 유지할 수 있어 전작의 한계의 두 배이며, 더 나은 물리 효과와 더 사람 같은 캐릭터를 제공합니다.
구글의 AI 모델인 제미니 역시 제니 4와 더 긴밀하게 통합되어, 제니가 시각 자료를 만드는 동안 단계를 계획하고 프레임을 검사하는 감독 역할을 합니다. Gemini Robotics와 연계된 연구 실험에서 Gemini 4 Argon 모델이 작업을 단계로 분해했고, 제니 4가 이를 실시간으로 시뮬레이션했습니다. 이 실험은 실제 세계에서 일어나기 전에 로봇 시나리오를 시뮬레이션으로 테스트하는 가능한 방법을 보여줍니다.
“앞으로 점점 더 많이 볼 것은 이러한 하이브리드 세계 모델입니다. 제미니가 코드와 텍스트를 작성하고, 제니가 그것을 실시간으로 받아들여 다양한 추상화 수준에서 현실을 시뮬레이션하는 조합이죠”라고 구글 연구 디렉터 Tejas Kulkarni가 브리핑에서 말했습니다.
다른 세계 모델과 마찬가지로, 제시된 상업적 활용 사례에는 게임, 인터랙티브 학습, 로봇공학이 포함됩니다. 인터랙티브 학습의 한 가지 상상적인 예로는 역사적 장면을 그린 그림 속으로 들어가 그 그림의 인물들과 묘사된 사건에 대해 이야기하는 것이 있습니다.
하지만 “신뢰하는 테스터들” — 구글의 첨단 제품에 가장 먼저 접근하는 사람들 — 은 가능한 새로운 용도, 즉 영화 프로토타이핑을 지목하고 있습니다.
“실시간이라는 측면은 창작 공간에서 몰입 상태를 유지하는 것이 매우 유용한 분야에서 가장 가치가 커집니다. 예를 들어 아이디어 구상 단계, 스토리보드 단계 — 빠른 아이디어 구상이 필요한 순간이라면 언제든요”라고 구글 딥마인드 엔지니어 Diego Rivas가 언론 브리핑에서 말했습니다.
구글은 또한 텍스트, 이미지 또는 비디오 프롬프트로 내장 동기화 오디오가 포함된 고화질 클립을 만드는 AI 비디오 생성 모델인 Veo를 제공하는데, 이 도구는 영화 제작자들.
사이에서 인기가 높아지고 있습니다. Rivas는 사용자가 언젠가 이미지, 오디오, 텍스트에서 비디오를 생성할 수 있는 멀티모달 대형 언어 모델인 Gemini Omni에 의존해 그러한 프로토타입을 창작 자산으로 전환할 수 있다고 덧붙였습니다. 하지만 그러한 기능은 아직 먼 일이라고 그는 말합니다.
브리핑 내내 Rivas는 제니 4가 아직 초기 단계이며 최종적인 엔드투엔드 제품 경험이 무엇이 될지 아직 명확하지 않다는 점을 강조했습니다. 팀은 또한 제니 4에 여전히 한계가 있음을 인정했습니다. 시뮬레이션이 오래 실행될수록 세부 사항과 사물이 흐려질 수 있고, 오디오의 정확성과 세계 내 텍스트의 가독성을 보장하는 방법을 아직 완전히 해결하지 못했습니다.
제니 4는 현재 신뢰하는 테스터를 위한 연구 프리뷰로 제공됩니다. 앞으로 몇 주 안에 이 모델은 텍스트나 이미지 프롬프트로 인터랙티브 세계를 생성하는 구글의 AI 도구인 Project Genie를 통해 Google AI Ultra 구독자와 Gemini API 및 Google AI Studio의 얼리 액세스 파트너에게 제공될 예정입니다.