Artificial Analysis · X수정일

NVFP4 가중치를 서빙하는 사전 출시 @DeepInfra 엔드포인트에서 측정한 결과, Nemotron 3.5 Super VL은 ~630 tokens/s의 출력 속도에 도달하며…

이미지 출처 · Artificial Analysis · X

NVFP4 가중치를 서빙하는 사전 출시 @DeepInfra 엔드포인트에서 측정한 결과, Nemotron 3.5 Super VL은 100k-token 프롬프트에서 ~630 tokens/s의 출력 속도에 도달합니다. 이는 이 프롬프트 길이에서 측정한 모델 중 Intelligence Index에서 20점 이상을 기록한 모델 중 가장 빠른 속도입니다.

이는 Inkling Small(124 tokens/s)의 ~5배, Nemotron 3 Ultra(235)의 ~2.7배, Nemotron 3 Super(140)의 ~4.5배입니다. 또한 첫 토큰을 1.8s에 반환하는데, 이는 Nemotron 3 Ultra의 4.4s, Inkling Small의 8.5s와 비교됩니다.

원문 출처

Artificial Analysis · X

내용 안내

원문 발행 및 권리는 출처에 있습니다.

기계 번역 · 원문을 참고하세요