Kyutai REKI 만나기: 로봇 조작에 효율적인 메모리를 제공하는 2.4B VLA 모델

Kyutai가 Inria 및 École des Ponts와 함께 공개한 것은 REKI이며, 로봇 조작용 2.4B 규모의 비전-언어-행동 모델 (VLA)입니다. REKI 비전-언어-행동 모델은 공개 데이터만으로 사전학습되었습니다. 또한 최근 과거에 대한 저비용 메모리를 갖추고 있습니다. 세 가지 분포 외 벤치마크에서 크기가 약 두 배인 모델들만이 이를 능가했습니다. 모든 가중치는 오늘 Hugging Face에 공개 되었습니다.

TL;DR

• 크기: 2.4B 파라미터 (2.2B Qwen3.5-2B VLM + 0.2B flow-matching 액션 전문가). 메모리는 1초 간격의 최근 3프레임을 포함합니다.
• 실행 환경: 1개의 NVIDIA H100에서 벤치마크 수행. 컴파일된 상태로 256×256 해상도의 2개 카메라 기준 액션 청크당 21.8 ms. 가중치는 BF16로 제공됩니다. 양자화 변형은 발표되지 않았습니다.
• 성능: 공개 데이터로 사전학습된 VLA 중 LIBERO-Plus와 RoboTwin Clean2Rand에서 최고 성적.
• 최고: LIBERO-Plus에서 90.4%, Kyutai의 비교에서 최고 점수.
• 최저: RoboCasa365에서 38.4%, Xiaomi-Robotics-1 (57.4%)에 크게 뒤짐.

REKI란 무엇인가?

REKI는 Kyutai의 비전-언어-행동 모델로, 카메라 뷰와 지시문을 로봇 행동으로 매핑합니다. 200M 파라미터의 액션 전문가와 Qwen3.5-2B 200M 파라미터 액션 전문가를 갖춘 백본입니다. 이 전문가는 flow matching으로 액션 청크를 생성하며, 10개의 Euler 스텝으로 적분됩니다. 로봇 상태와 flow 시간은 adaptive RMSNorm을 통해 입력됩니다. 각 로봇 상태 레이아웃은 자체적인 작은 상태 MLP를 갖습니다.

REKI의 메모리는 어떻게 작동하는가?

대부분의 VLA는 현재 프레임만으로 행동합니다. 기존의 메모리 방식들은 과거 프레임을 VLM에 입력하거나, 학습을 언롤(unroll)하거나, 모듈을 추가합니다. 각 옵션은 비용을 증가시킵니다.

REKI는 대신 메모리를 액션 전문가 내부에 배치합니다. 각 프레임의 액션 토큰 앞에는 학습된 32개의 레지스터 토큰이 위치합니다. 이들은 해당 프레임의 인코딩된 프롬프트와 뷰에 크로스 어텐션을 수행합니다. 또한 이전 프레임들의 레지스터에 셀프 어텐션을 수행합니다.

레지스터는 절대 액션 토큰을 읽지 않습니다. 따라서 flow 시간이나 로봇 상태가 아닌 관측값에만 의존합니다. 프레임당 한 번 계산되어 롤링 윈도우에 캐시됩니다.

에 따르면 비용은 작습니다. 프로젝트 페이지:

• 캐시된 레지스터를 읽는 작업은 21.8 ms 청크에 0.1 ms를 추가합니다.
• 이 캐시는 과거 프레임당 약 2 MiB의 GPU 메모리를 사용합니다.
• 학습 시 3프레임 창을 1회의 배치 처리 패스에 담습니다.

메모리는 한 가지 실패 모드도 해결합니다. 메모리가 없으면 팔이 2개의 자세 사이에서 진동하는 경우가 잦습니다. RoboTwin에서는 진동이 발생한 에피소드가 메모리 사용 시 18.6%에서 4.1%로 감소합니다. Kyutai는 이를 지각적 모호성(perceptual aliasing) 탓으로 돌립니다.

REKI는 벤치마크에서 어떤 성능을 보일까요?

REKI는 한 번 사전학습된 후 벤치마크별로 개별적으로 파인튜닝됩니다. 아래 점수는 모델 카드 와 프로젝트 페이지에서 가져왔습니다.

• LIBERO-Plus: 90.4%로, Qwen-RobotManip(89.0%) 및 π0.5(85.7%)를 앞섭니다.
• RoboTwin Clean2Rand: 65.8%로, Qwen-RobotManip(68.5%)에만 뒤집니다.
• RoboCasa365: 38.4%로, RLDX-1(36.0%) 및 Qwen-RobotManip(35.9%)를 앞섭니다.
• LIBERO (4개 스위트): 97.6%.
• RoboTwin 2.0 Easy / Hard: 85.9% / 84.6%.

사전학습은 분포 외 상황에서 가장 큰 효과를 발휘합니다. Clean2Rand에서는 13.8포인트, 어수선한(clutter) 환경에서는 30.3포인트를 추가합니다. 메모리는 LIBERO-Plus에서 1.5포인트, RoboCasa365에서 5.4포인트를 추가합니다.

REKI는 다른 VLA와 어떻게 비교될까요?

참고: Clean2Rand 평균은 표 5의 6가지 조건으로부터 계산됩니다. Qwen-RobotManip 보고서. Qwen 보고서는 LIBERO-Plus에서 π0.5를 84.4로 기록하고 있습니다.

REKI는 어떤 데이터로 학습되었나요?

이 믹스처는 1.0B 프레임과 12.2M 비전-언어 샘플을 포함합니다. 실제 로봇 원격 조작이 639.8M 프레임을, 시뮬레이션이 193.9M, 자아중심적 인간 영상이 170.9M을 제공합니다. 데이터 출처에는 DROID, BridgeData V2, AgiBot World, EgoDex, EgoVerse가 포함됩니다. 사전학습은 32개의 H100 GPU에서 200,000 스텝으로 진행되었습니다. Kyutai는 동작을 재매핑하는 대신 각 데이터셋의 고유한 제어 규약을 그대로 유지합니다.

REKI는 어떻게 배포하나요?

여섯 개의 체크포인트가 나열되어 있습니다: 사전 학습된 베이스 모델과 LIBERO, RoboTwin(2가지 변형), RoboCasa365, RoboCasa-GR1용 파인튜닝 모델입니다. 실제 로봇 배포에는 다음을 사용합니다. LeRobot 비동기 추론(async-inference) gRPC 프로토콜. UR5 로봇 팔에서 REKI는 작업당 50개의 시연 데이터로 3k 스텝(1시간) 동안 파인튜닝되었습니다.

from reki import RekiPolicy

policy = RekiPolicy.from_pretrained("kyutai/reki-2b-libero", device="cuda")
policy.reset()  # clears the register cache at episode start
actions = policy.predict(images={"camera_top": img0, "camera_wrist_left": img1},
                         state=proprio, task="put the bowl on the plate")

핵심 요약

• REKI는 공개 데이터만으로 사전 학습된 2.4B VLA입니다.
• LIBERO-Plus에서 90.4%를 기록하며 Kyutai의 비교에서 최고 성적을 달성했습니다.
• 32개의 캐시된 레지스터 토큰이 0.1 ms의 추가 메모리를 제공합니다.
• 메모리 컷은 RoboTwin에서 18.6%에서 4.1%로 진동을 줄입니다.
• 가중치는 공개되어 있지만 비상업적입니다(CC BY-NC-SA 4.0).

다음을 확인해 보세요: 논문, 프로젝트 페이지, 모델 가중치 그리고 GitHub 저장소. 이 프로젝트의 모든 공은 해당 연구자에게 돌아갑니다. 또한 언제든지 저희를 Twitter 그리고 저희의 다음 항목에 참여하는 것을 잊지 마세요 150k+ ML 서브레딧 그리고 다음을 구독하세요 저희 뉴스레터잠깐만요! 혹시 텔레그램 사용하시나요? 이제 텔레그램에서도 저희와 함께하실 수 있습니다.

해당 게시물 Kyutai REKI 만나기: 로봇 조작에 효율적인 메모리를 제공하는 2.4B VLA 모델 최초 게재: MarkTechPost.