리플렉션의 첫 번째 모델인 Beam은 인공 분석 지능 지수에서 30점을 받아 미국 오픈 무게 모델 중 #2위를 차지합니다.
Beam은 총 501B개의 파라미터와 23B개의 활성 파라미터를 가진 개방형 가중치 모델로, @huggingface에서 배포되었습니다.
@reflection_ai의 출시를 축하합니다!
주요 요점:
➤ 미국 오픈 워터스 모델 중 두 번째: Beam 점수는 30으로, Meta의 Muse Spark Open(39)에만 뒤처지고 어제 출시된 NVIDIA Nemotron 3.5 Super VL(26)보다 앞서 있습니다. 중국 외에서는 Muse Spark Open과 UAE의 K2 Horizon(31)만이 더 높은 점수를 기록했습니다.
➤ 지능 수준에 비해 토큰 효율이 높음: Beam은 Intelligence Index 작업에서 K2 Horizon보다 약 26k개의 출력 토큰을 사용하며, 이는 K2 Horizon이 사용하는 양의 두 배인 ~52k개보다 한 단계 앞선 수치입니다. 독자적인 모델들은 여전히 최고 수준을 유지하며, GPT-6 Astra(최대)는 같은 예산(~27k)으로 53점을 기록했습니다.
➤ 에이전트 기반 워크플로우에선 강력하지만 터미널 부분은 약함: Beam은 AutomationBench-AA에서 48.5%의 점수를 기록했으며, K2 Horizon(37.2%)보다 11퍼센트 앞서고 Qwen3.8 27B(48.2%)와 동등한 수준입니다. Terminal-Bench 4.0은 약점으로, Beam은 3.0%의 점수를 기록했으며 이는 Qwen3.8 27B(5.6%)와 Muse Spark Open(8.1%)보다 낮습니다.
➤ 더 많이 알고, 더 많이 추측합니다: AA-Omniscience는 질문의 33%를 정확하게 답변하는 반면, K2 Horizon은 18%, Qwen3.8 27B는 16%에 불과합니다. 하지만 허위 정보 생성률은 47%로, K2 Horizon의 26%와 Qwen3.8 27B의 30%보다 높아 Beam의 순 인덱스 점수는 1.5이 되며 두 경쟁 모델(-3.0과 -10.0)보다 높습니다.
기타 모델 세부 정보
컨텍스트 윈도우: 1M 토큰
모달리티: 텍스트
매개변수: 501B / 23B
