NVIDIA, Nemotron 3.5 Super 및 Nemotron 3.5 Bolt 출시
모델 페이지 보기NVIDIA의 Nemotron 3.5 Super VL은 현재 미국 오픈 웨이트 모델 중 선두이며, Artificial Analysis Intelligence Index에서 26점을 기록했습니다
Nemotron 3.5 Super VL은 이전 세대인 Nemotron 3 Super(13) 대비 두 배의 지능을 달성했으며, 태스크당 출력 토큰을 약 60% 덜 사용합니다
Bolt 계열의 첫 번째 모델인 Nemotron 3.5 Bolt 74B-A9B와 함께 출시되며, 이 모델은 Intelligence Index에서 21점을 기록했습니다
주요 요점:
➤ 미국 오픈 웨이트 모델 선두: Nemotron 3.5 Super VL은 26.5점을 기록하며 Thinking Machines의 Inkling Small(25.7)을 제치고, NVIDIA의 Nemotron 3 Ultra(23)와 Meta의 Muse Glimmer(17)를 앞섰습니다
➤ Bolt, Ultra와 2점 차이: Nemotron 3.5 Bolt 74B-A9B는 21점으로 Nemotron 3 Ultra 550B A55B(23)보다 1.5점 뒤처집니다. 총 파라미터는 Ultra의 약 7분의 1(74B 대 550B), 활성 파라미터는 6분의 1(9B 대 55B) 수준입니다
➤ Super 3.5, NVFP4에서 거의 무손실: Nemotron 3.5 Super VL은 NVFP4로 출시되며, Intelligence Index에서 BF16 웨이트 대비 0.1점 이내의 차이를 보이고, 어떤 구성 요소도 2.6점 이상 변동하지 않았습니다
Nemotron 3.5 Super VL 세부 사항
- 컨텍스트 창: 1M 토큰
- 모달리티: 비전 및 텍스트 입력; 텍스트 출력
- 파라미터: 120B / 12B
Nemotron 3.5 Bolt 74B-A9B 세부 사항
- 컨텍스트 창: 256k 토큰
- 모달리티: 비전 및 텍스트 입력; 텍스트 출력
- 파라미터: 74B / 9B
Nemotron 3.5 Super - 미국 오픈 웨이트 선두
Nemotron 3.5 Super VL은 Intelligence Index에서 26점을 기록한, 미국 출신 오픈 웨이트 모델 중 최고 점수 모델입니다. Thinking Machines의 Inkling Small(26)을 제치고, NVIDIA의 이전 플래그십인 Nemotron 3 Ultra(23)와 Meta의 Muse Glimmer(17)를 앞섰습니다
이러한 발전에도 불구하고, 미국은 오픈 웨이트 지능에서 여전히 아랍에미리트(K2 Horizon 375B A23B, 31)와 중국(MiMo-V2.6-Pro, 46)에 뒤처져 있습니다.
Nemotron 3.5 Super - 토큰 사용량
Nemotron 3.5 Super VL은 Intelligence Index 작업당 46k 출력 토큰을 사용하며, 이는 전작 Nemotron 3 Super(114k)보다 약 60% 적고, K2 Horizon 375B A23B(52k) 및 MiMo-V2.6-Pro(64k)보다도 적습니다
토큰 효율이 확실히 향상되었음에도 불구하고, Nemotron 3.5 Super는 Intelligence Index 대 작업당 출력 토큰 수 프론티어에서는 여전히 다소 뒤처져 있습니다
Nemotron 3.5 Super - 출력 속도
NVFP4 가중치를 서빙하는 사전 출시 @DeepInfra 엔드포인트에서 측정한 결과, Nemotron 3.5 Super VL은 100k 토큰 프롬프트에서 약 630 tokens/s의 출력 속도에 도달합니다. 이는 이 프롬프트 길이에서 우리가 측정한 모델 중 Intelligence Index에서 20점 이상을 기록한 어떤 모델보다도 가장 빠른 속도입니다
이는 Inkling Small(124 tokens/s)의 약 5배, Nemotron 3 Ultra(235)의 약 2.7배, Nemotron 3 Super(140)의 약 4.5배에 해당합니다. 또한 첫 토큰을 1.8s에 반환하는 반면, Nemotron 3 Ultra는 4.4s, Inkling Small은 8.5s가 걸립니다
Nemotron 3.5 Bolt
Nemotron 3.5 Bolt 74B-A9B는 NVIDIA의 새로운 Bolt 계열의 첫 번째 모델입니다. Intelligence Index에서 21.4점을 기록하여, 100B 파라미터 미만 모델 중 4위, 해당 클래스의 미국 모델 중에서는 1위를 차지했습니다
Bolt는 Nemotron 3 Super(12.8)보다 8.6점 높으면서 전체 파라미터는 39% 적습니다. Nemotron 3 Ultra와 비교하면 AutomationBench-AA(15.5% vs 3.0%)와 AA-Briefcase(912 vs 874 Elo)에서는 앞서지만, AA-LCR(70% vs 79%)과 Humanity's Last Exam(25% vs 28%)에서는 뒤처집니다
Nemotron 3.5 Bolt - 토큰 사용량
Nemotron 3.5 Bolt 74B-A9B는 Intelligence Index 작업당 82k 출력 토큰을 사용하며, 이는 Nemotron 3.5 Super VL(46k)의 1.8배, Nemotron 3 Ultra(28k)의 2.9배이지만, 그래도 Nemotron 3 Super(114k)보다는 28% 적습니다
