최근, 앨런 인공지능 연구소(AI2)가 주최한 글로벌 권위 있는 몸통형 인공지능 제로 샘플 평가 기준 MolmoSpaces의 최신 목록에서, 마법 원자 브랜드 아래의 범용 로봇 조작을 지원하는 VLM 에이전트 프레임워크 EchoPolicy-0은 75.4%의 로봇 조작 평균 성공률로 MolmoSpaces Combined 목록에서 전 세계 1위를 차지했으며, 모든 4개의 v1 작업을 포함했습니다.
동일한 목록, 동일한 그룹 하에서, 마법 원자 자체 개발된 스마트 에이전트 프레임워크 MagicBrain은 3.4B 개의 파라미터 규모를 바탕으로 72.4%의 로봇 조작 평균 성공률로 MolmoSpaces Combined 목록 세계에서 네 번째 위치를 차지했으며, 그 잡기 성공률은 94.4%에 달하여 업계 평균을 훨씬 초과했다.
MolmoSpaces榜单은 현재 세계적인 웨어러블 인공지능 분야에서 가장 신뢰할 수 있는 제로 샘플 평가 기준으로, 조작, 내비게이션 및 더 긴 거리의 웨어러블 작업에 초점을 맞추고 있습니다. MolmoSpaces 생태계에는 23만 개 이상의 실내 환경과 약 13만 개의 물체 자산이 포함되어 있어, 평가에 다양한 변화의 원천을 제공합니다. 로봇은 고정된 시연 환경을 넘어서는 상황에 직면하여, 다양한 배경, 기하학적 구조 및 물체 분포 하에서 목표를 찾고, 국부적 조건에 따라 작업을 완수해야 합니다.
동시에 MolmoSpaces는 이동 가능한 강체 물체와 관절이 있는 상호작용 객체를 포함하고 있습니다. 로봇은 이미지에서 목표물을 찾는 것뿐만 아니라, 실제 시뮬레이션 접촉을 통해 객체의 상태를 변화시켜야 하므로, 로봇의 작업 과제는 실질적인 난이도를 가지게 됩니다.
MolmoSpaces의 기준은 초기 시나리오, 로봇과 카메라 설정, 작업 지시 및 성공 조건을 명확하게 제시합니다. 전체 목록, 통일된 점수 및 공개 결과는 개별적인 시연을 비교 가능한 데이터로 변환할 수 있습니다. 마법 원자 EchoPolicy-0과 MagicBrain 프레임워크가 참여하는 네 가지 작업은 각각 자유로운 물체 잡기, 관절 기반 물체 상호작용 및 다단계 조작과 관련이 있으며, 단일 지표만을 보는 것이 아니라 도구화된 지능 에이전트 프레임워크의 시스템 능력을 다양한 측면에서 검토합니다.
2026년 이후, 몸을 가진 지능은 시연 단계에서 실제 생산 라인으로 들어가고 있으며, 경쟁의 중점이 로봇의 ‘뇌’인 몸을 가진 지능 대형 모델로 옮겨지고 있다. 로봇의 운동 제어 능력이 빠르게 향상됨에 따라, 로봇의 몸은 더 유연하고 내구성이 높아졌으며, 뇌의 실제 활용도도 몸의 범위가 확대됨에 따라 빠르게 발전하고 있다. 이에 따라 시장 연구 방향은 더 복잡한 작업을 어떻게 수행하는지, 새로운 작업을 어떻게 빠르게 익히는지로 바뀌고 있다. MolmoSpaces의 평가도 몸을 가진 지능 대형 모델의泛化 능력에 주목하고 있다.
마법 원자 연구 개발 실험실 MagicLab Studio의 책임자는 “몸을 가진 뇌 방식의 선택에 있어, 우리는 계층적 아키텍처를 인정하며, 명령 준수 능력이 현재 모델이 일반적인 작업에서 직면하는 어려움임을 발견했습니다. EchoPolicy는 에이전트 프레임워크와 트랙 점수 방식을 통해 명령 준수 능력을 보장하며, MagicBrain은 엔드투엔드 시각 지시 방식을 통해 명령 준수 효과를 최적화합니다. 두 시스템 모두 좋은 결과를 얻었습니다.”라고 말했습니다.
EchoPolicy-0 : 로봇들이 여러 작업을 동시에 처리할 때 공통된 사고와 행동 방식을 사용하도록 함
로봇이 임무를 완수하려면 언어 목표, 시각 관찰 및 물리적 동작을 지속적으로 연결해야 합니다. 예를 들어 물체를 잡은 후 실제로 제대로 잡았는지 판단해야 하며, 캐비닛 문을 열기 전 상호작용 가능한 위치를 찾아야 합니다. 한 동작이 예상과 일치하지 않으면 로봇은 새로운 상황에 맞게 계획을 조정해야 합니다.
이러한 동작들은 서로 다르게 보이지만, 몸을 가진 지능 로봇이 여러 임무를 처리할 때 직면해야 하는 공통된 문제들입니다: 목표는 어디인가, 현재 상태는 어떠한가, 어떤 능력을 호출해야 하는가, 동작이 목적을 달성했는가, 실패했을 때 어떻게 계속해야 하는가.
마법 원자 MagicLab Studio는 이러한 작업 간의 공통된 문제를 중심으로, 시각 언어 모델, 기하학적 조작 도구 및 일반적인 동작 전략을 통합된 VLM 에이전트 프레임워크 EchoPolicy-0으로 구성하여, 환경 관찰, 목표 이해, 선택 능력, 동작 실행, 그리고 결과 관찰 및 검증이 순환적으로 연결됩니다. 다양한 작업은 이 메커니즘을 공유하며, 구체적인 접촉과 움직임은 해당 실행기에 의해 수행됩니다.
EchoPolicy-0 프레임워크 연구 개발 책임자는 “EchoPolicy-0의 범용성은 다양한 기능을 통합적으로 호출, 조합 및 검증할 수 있다는 점에 있다. 현재 버전의 EchoPolicy-0는 Franka 단팔 플랫폼에서 네 가지 종류의 작업을 검증했다”고 말했습니다.
VLA 사용 방식에서 마법 원자 MagicLab Studio는 VLM 목표 유도의 다중 후보 궤적 선택을 도입했습니다. 이는 동작 모델이 다양한 가능한 움직임을 제시하고, 후보를 이미지 평면에 투영한 다음 VLM이 지정한 목표에 따라 더 적합한 궤적을 선택하며 실행 후에도 지속적으로 검증하는 방식입니다. 고위층 시각 이해가 이로써 저위층 동작 선택에 참여하게 되며, 단순히 작업 분해에 그치지 않습니다.
EchoPolicy-0 프레임워크는 MolmoSpaces의 네 가지 작업에 대해 3915번의 전체 테스트를 완료했으며, 네 가지 작업의 등급 평균 성공률은 75.4%에 달했습니다. 2026년 10월 13일 기준으로, MolmoSpaces Combined 순위에서 1위를 차지하고 있습니다.
마법 원자 MagicLab Studio는 MolmoSpaces에서 진행된 EchoPolicy-0 프레임워크에 대한 네 가지 테스트를 통합 프레임워크의 시스템 검증으로 간주하며, 각 세트의 결과를 바탕으로 후속 업데이트를 진행합니다. EchoPolicy-0은 일반 로봇 작동을 위한 시스템 경로를 보여줍니다. 통합 Agent 프레임워드는 다양한 유형의 작업 능력을 조직할 수 있습니다: VLM Agent는 의미적 목표와 작업 상태를 관리하고, 기하학적 도구는 확인 가능한 공간 상호작용을 제공하며, 일반적인 동작 전략은 후보를 생성합니다. VLM 목표에 의해 유도되는 경로 선택 제약으로 동작 방향이 결정되고, 이후 지속적인 검증을 통해 이들을 연결합니다.
EchoPolicy-0은 몸집을 가진 지능 모델의 실제 적용 상황에 대해 하나의 질문에 답했습니다. 즉, 모델이 제안하는 동작 중 어느 것을 선택해야 하는지 어떻게 보장할 수 있는가 하는 것입니다. 이 시스템은 모델의 입력을 변경하지 않고, 모델이 제시하는 여러 후보 동작 중 시각적 목표에 가장 잘 맞는 하나를 선별하여 실행한 후 지속적으로 검증합니다. 하위 고객에게 있어서 이 방식의 가치는 단일 성공률에 있지 않습니다. 새로운 유형의 작업이 추가될 때, 처음부터 시스템을 새로 구축할 필요가 없으며, 단지 능력을 같은 프레임워크에 통합하기만 하면 됩니다.
자체 개발된 뇌: MagicBrain은 모델이 “시연 가능” 상태에서 “생산라인 사용 가능” 상태로 나아가는 것을 가능하게 한다.
몸을 가진 지능 에이전트 프레임워크 MagicBrain은 마법 원자 MagicLab Studio에서 나왔습니다. MolmoSpaces의 잡기, 배치, 열기 및 닫기 네 가지 작업에서 MagicBrain은 3915번의 전체 평가를 완료했으며, 네 가지 v1 작업의 평균 성공률은 전 세계에서 네 번째로 높았습니다. 그 중 잡기(Pick-v1)와 배치 및 잡기(Pick & Place-v1) 두 작업 모두 해당 작업 순위에서 세계 1위를 차지했으며, 잡기 작업의 성공률은 94.4%에 달했습니다.
시각-언어-행동(VLA)은 현재 육체적 지능 분야에서 주목받는 모델 아키텍처 중 하나이며, 언어 추적 능력은 업계에서 오랫동안 존재해온 공통적인 문제입니다. 모델에 “사과를 바구니에 넣기”와 같은 명령을 수행하게 하는 것은 두 가지 어려운 작업을 포함합니다: 먼저 “사과”라는 명칭을 이해하고, 다음으로 픽셀 수준에서 어떤 것이 “사과”인지 찾아내는 것입니다.
마법 원자 MagicLab Studio는 연구 및 테스트 과정에서 발견한 바에 따르면, 잡기 실패 사례의 대부분은 동작 실행이 불안정한 것이 아니라 올바른 대상을 잡지 못하거나 위치를 잘못 설정한 것이었습니다. 다시 말해, VLA는 동작 학습 측면에서는 충분히 강력하지만, 명사 구문을 이미지 영역에 연결하는 부분이 실제 단점입니다. 이는 훈련 신호가 가장 희박한 부분이기도 합니다—“사과”를 잡으려다 옆에 있는 “배”를 잡는 경우처럼, 실패 원인은 손이 아니라 눈입니다.
실제로 VLA는 시각 신호에 대한 추적 능력이 언어 지시에 대한 추적 능력보다 더 뛰어납니다. “말을 이해하는 것”은 VLA의 약점이며, “그림을 이해하는 것”이야말로 강점입니다. 이를 위해 MagicBrain은 In-Context Visual Guidance이라는 기술 방식을 사용합니다. VLA는 단지 동작을 수행할 뿐이고, 목표를 찾는 일은 그림을 잘 보는 VLM 에이전트에게 맡깁니다.
미래에는 이 시각적 유도 기술이 인터랙션 등 다양한 환경으로도 확장될 수 있을 것이다. 결국 모델에게 ‘보여줘야 할 것’을 그리는 것은 단순한 포착에만 적용되는 것이 아니다. MagicBrain은 더 효율적인 분업 방식을 제공한다. 언어는 ‘무엇을 하는지’를, 픽셀은 ‘무엇이며 어디에 있는지’를 명확히 설명하며, 각각의 정보를 각자 잘하는 모델에게 전달한다. 새로운 모델 구조를 도입하거나 더 많은 매개변수를 쌓아 올리지 않고, 단지 정보 전달 경로를 재배열하는 것뿐이다.
“우리는 VLA가 언어를 이해하는 기반 위에서, 그것을 더욱 ‘보기’할 수 있도록 하고 무엇을 보아야 하는지 알려주는 방식을 사용합니다.”라고 마법 원자 MagicLab Studio의 책임자가 말했습니다. 이 기술 방식은 대규모 모델의 성능을 얻기 위해 파라미터 크기를 늘리는 것에 의존하지 않습니다. 이번 평가에 참여한 모델의 파라미터 크기는 단지 3.4B에 불과합니다.
이는 기본 데이터 능력을 갖춘 어떤 팀이든 저비용으로 재현할 수 있으며, 모델 크기에 구애받지 않고도 이점을 얻을 수 있다는 것을 의미합니다. 지능형 신체가 규모화되는 과정에서 ‘모든 것을 한 번에 처리하는 것’보다는 ‘조합하는 방식’의 분업 전략이 현실에 더 가까울 수도 있습니다.
업계 차원에서, 마법 원자는 매우 중요한 질문에 답했습니다. VLA가 과연 비용을 지불할 수 있고 사용 가능한가 하는 문제입니다. 잡기와 배치는 구체적 지능이 실험실에서 실제 환경으로 나아가는 핵심 기반 동작입니다. 공장 분류, 창고 운반, 가정 정리 등 모든 작업이 이를 의존합니다. 잡기 성공률이 이전의 70%에서 94.4%로 증가함으로써, VLA는 “시연용 가능”에서 “생산 라인에서 사용 가능”으로 넘어가는 임계점에 도달하고 있습니다. 업계에게 있어서 성공률이 조금씩 향상될 때마다 상업화 가능한 환경의 범위가 확대됩니다.
마법 원자들의 “유기형 뇌” 설계 철학
“MolmoSpaces 목록에서 세계 1위를 차지했지만, Magic Atom이 관심을 갖는 것은 그 목록 뒤에 있는 실제 문제입니다. 즉, 신체화된 지능 로봇의 뇌는 어떻게 생성되어야 하고, 어디에 생성되어야 하는가 하는 것입니다.” MagicLab Studio 책임자가 말했습니다.
마법 원자는 형상화된 지능이 계층적 협력 기술 방향을 따라 발전해야 한다고 생각합니다: 상위 모델은 이해, 계획 및 오류 수정을 담당하고, 하위 모델은 작업 의도를 신뢰할 수 있는 물리적 동작으로 변환하는 역할을 합니다.
상위 모델은 시각 이해, 작업 분해, 계획 결정, 오류 수정 및 기억 관리을 담당해야 한다. 현재 첨단 기반 모델은 이러한 측면에서 좋은 기반을 갖추고 있지만, 신체가 존재하는 환경에서의 공간 관계, 물리적 제약 및 지속적인 상호작용에 맞게 적응이 필요하다. 위에 명시된 책임자는, 업계는 단기적으로 모델을 운용하는 Harness를 중점적으로 구축해야 한다고 생각합니다. 이를 통해 컨텍스트 관리, 도구 호출, 실행 피드백 및 평가 메커니즘을 통합하고, 피드백을 기반으로 한 반복 최적화를 모색해야 합니다. 특히 RSI 방향도 포함됩니다. 장기적으로는 실제 시나리오 데이터를 활용하여 자율 학습과 후학습을 진행하며, 모델 자체의 이해와 의사결정 능력을 점차 향상시켜야 합니다.
그 책임자는 동작 생성 및 제어 실행의 기반 모델을 담당하는 방식으로 VLA, WAM 또는 다른 혼합 아키텍처를 사용할 수 있다고 말했습니다. 아키텍처 선택은 실제 작업에 부합해야 하며, 명령 준수, 동작 정확도, 실행 효율성 및 일반화 능력을 중점적으로 고려해야 합니다.
현재, 계층 구조 자체가 업계에서 널리 논의되고 있지만, 중요한 문제 중 하나는 아직 충분히 해결되지 않았습니다. 즉, 상위 레벨의 작업 의도가 하위 레벨에서 어떻게 정확하게 이해되고 안정적으로 실행되는지입니다.
마법 원자 MagicLab Studio은 실험에서 기존의 동작 모델이 분포 외(OOD) 상황에서도 목표 선택 오류나 공간 제약 이해의 편차와 같은 문제가 발생한다는 것을 발견했습니다. 이에 팀은 두 가지 상호 보완적인 해결 방식을 시도했습니다.
첫 번째는 이번에 MolmoSpaces 목록에서 1위를 차지한 EchoPolicy-0입니다. 에이전트 스케줄링, 후보자 선택 및闭环 검증을 통해 실행과 명령의 일관성을 높입니다. 여기서 상위 모델은 작업을 명확한 하위 목표로 분해하고, 시스템은 하위 모델이 생성한 여러 후보 동작 궤적을 평가하여 현재 명령에 더 부합하는 후보를 선택합니다. 실행 후에는 새로운 관찰 결과에 따라 진행 상황을 판단하고, 계속하기, 재시도, 재계획 또는 회귀를 결정하며, 필요에 따라 기하학 도구를 호출하여 특정 작업을 완료합니다.
이 기술 방식의 장점은 기본 모델을 다시 훈련하지 않고도 스케줄링, 선택 및 검증 메커니즘을 개선함으로써 빠르게 반복적인 업데이트를 진행하여 기존 모델의 작업 완료 능력을 향상시킬 수 있다는 점입니다.
마법브레인의 접근 방식은 명시적인 시각 유도와 함께하는 훈련을 통해 동작 생성 단계의 목표 일치 능력을 향상시키는 것입니다.
상하층 간의 시각적 유도 메커니즘이 참고할 만합니다. MagicBrain은 상층에서 인식한 상호작용 목표, 배치 영역 및 단기 운동 역사를 시각적 표시 형태로 하부 모델의 관찰에 삽입하여, 작업 의도를 이미지 내의 구체적인 위치와 직접 연결시킵니다. 이 방법은 VLA의 네트워크 아키텍처를 변경하지 않고, 보조 후 훈련을 통해 모델이 시각적 표시와 조작 의미, 행동 양식을 연결하는 법을 배우게 되므로, 언어 지시에만 의존할 때 발생하는 혼동을 줄일 수 있습니다.
두 가지 접근 방식은 각각 “행동 생성”과 “실행, 선택, 검증”의 두 단계에 작용하여 상호 보완적인 역할을 합니다. 시각적 유도는 기본적인 행동이 목표에 더 부합하도록 돕고, 에이전트 조정은 선택, 실행, 검사 및 오류 수정을 담당합니다.
이번에 EchoPolicy-0이 1위를 차지했고, MagicBrain이 4위를 차지했습니다. 두 경로의 유효성 모두 확인되었습니다.
미래에 대해 이야기할 때, 마법 원자는 다음과 같이 말했습니다: “다음 단계에서는 두 가지의 결합을 더욱 탐구하여, 작업 이해부터 물리적 실행까지의 완전한 피드백 루프를 형성할 것입니다. 또한 실제 산업 환경에 진입하여 작업 성공률, 운영 안정성 및 배포 비용을 지속적으로 검증하고, 이 과정에서 데이터와 모델 플랫폼을 더욱 발전시킬 것입니다.” 검증된 능력을 재사용 가능한 기술 모듈, 표준 인터페이스 및 솔루션으로 전환하고, 시스템은 성공과 실패 및 사람이 수정한 데이터를 축적하여 “배포—수집—훈련—평가—재배포”의 지속적인 반복 메커니즘을 구축함으로써 엔지니어링 경험을 기반 모델 능력으로 전환하도록 촉진한다.