vLLM Semantic Router 팀은 d3-ultra를 출시했습니다. 이 모델은 27B개의 다중 모드 의사결정 모델이며 Apache-2.0 라이선스 하에 제공됩니다. d3-ultra 의사결정 모델은 텍스트를 생성하지 않으며, 입력을 한 번 읽고 모든 질문에 대한 답변의 확률을 반환합니다. 개발자들에게는 이를 통해 1개의 개방형 요청에서 라우팅, 분류, 시각적 기반 설정 및 비디오 검사가 가능해집니다.
TL;DR
- 크기: 26.09B개의 파라미터 (0.46B개의 비전 인코더 포함하여 밀집된 형태); 질문당 131,072토큰의 컨텍스트.
- 실행 가능한 환경: BF16 가중치를 사용하는 1개의 AMD Instinct MI325X에서 테스트되었습니다; 공식적으로 quantized 버전은 아직 등록되어 있지 않습니다.
- 성능: 팀 자체의 개인 테스트에서 6개의 결정 모델 중 가장 높은 SR-Text 점수를 기록했습니다.
- 최고: SR-Text 도구 및 자동화를 통한 97.8(기회 교정된 정확도).
- 최악: SR-Box에서 54.6% (9개 도메인), 이는 자매 제품인 d3-turbo보다 5.0점 낮습니다.
d3-ultra란 무엇인가요?
d3-ultra는 vLLM Semantic Router의 System One 결정 모델로, 유형화된 질문에 확률을 사용하여 답변합니다. 이는 0.6B에서 27B에 이르는 범위를 다루는 Decision 3.0 계열의 최신 제품입니다.
텍스트나 JSON 형식의 상태 정보와 이미지 또는 비디오를 포함한 데이터, 그리고 질문들을 전송합니다. 각 질문에는 유형이 있습니다:
- 선택: 여러 옵션 중에서 1개를 선택하세요.
- 예 / 아니오: 예가 일어날 확률을 반환합니다.
- 점수: 척도에 따른 점수.
- 박스: 이미지나 비디오 순간에서 무언가를 찾아내세요.
- 트랙: 전체 영상 내에서 목표물을 따라가기.
이미지도 질문과 선택지 안에 포함될 수 있습니다. 퀴즈에서는 사진을 보여주고, 그 다음에 4개의 그림을 답으로 제시할 수 있습니다.
d3-ultra는 어떻게 작동하나요?
핵심 아이디어는 한 번만 상태를 저장하는 것입니다. 모델은 요청마다 입력을 한 번만 읽고, 그 단일 읽기로부터 모든 질문에 답합니다.
config에는 64개의 층으로 구성된 Qwen3.5-архite트트 기반 구조가 표시됩니다. 48개는 선형 애널티션 층이고 16개는 전체 애널티션 층입니다. 이 카드는 기본 체크포인트의 이름을 명시하지 않았습니다. vLLM의 레시피에 따르면, d3는 Qwen3.8-27B로부터 훈련되었습니다.
박스 답변은 항상 확신 수치가 1개인 박스를 반환합니다. 0에 가까운 확신 수치는 목표 객체가 화면에 없음을 의미합니다. 131,072 토큰을 초과하는 질문은 max_length_exceeded 오류로 실패하며, 아무것도 무시되지 않습니다.
d3-ultra는 벤치마크에서 어떻게 성능을 보여주나요?
연구팀은 d3-ultra를 GLiDE V1.2, d1-ultra, d3-turbo, d3 및 Jev 1.14와 함께 2개의 내부 테스트를 진행하여 비교했습니다.
SR-Text에는 10,411개의 텍스트 요청과 73,495개의 질문이 있습니다. 대부분은 새로운 항목을 추가하여 34개의 공개 벤치마크에서 습득한 기술입니다. 또 다른 4,896개의 질문은 SQL 검사 및 티켓 라우팅과 같은 43개의 새로운 작업 유형에서 비롯됩니다. 점수는 확률로 교정되었습니다: 0은 확률, 100은 완벽함입니다.
- d3-ultra: 87.2
- GLiDE V1.2: 85.1
- d1-ultra: 83.4
- d3-turbo: 83.1
- d3: 81.4
- Jev 1.14: 73.1
d3-ultra는 예술과 인간의 취향을 제외한 모든 분야에서 선두를 차지합니다. 그 분야에서는 d1-ultra가 90.8점을 기록하며, 89.6점에 불과하여 오차 범위 내에 있습니다.
SR-Box은 10개의 도메인에 걸쳐 4,984개의 이미지에 대한 5,678개의 질문을 가지고 있습니다. IoU가 0.5 이상이면 박스는 정답으로 간주됩니다. d3-ultra 점수는 10개의 도메인에서 58.2%, 9개의 도메인에서 54.6%입니다. d3-turbo 점수는 각각 60.0%와 59.6%입니다. Jev 1.14 점수는 45.7%와 46.9%입니다. 팀은 d3-turbo가 자연 이미지에서 더 강력하다고 말하며, d3-ultra는 차트 작업에서 우세하다고 합니다.
지연 시간: AutoModel을 사용하는 1개의 AMD Instinct MI325X에서 사진에 대한 1개의 질문을 처리하는 데 304ms가 걸립니다. 255개의 질문을 처리하는 데는 2.16s가 걸리며, 추가되는 각 질문마다 약 7.3ms가 소요됩니다.
d3-ultra를 어떻게 배포하나요?
4가지 경로가 있습니다:
- 트랜스포머:
AutoModel.from_pretrained("vllm-sr/d3-ultra", trust_remote_code=True)와transformers==5.17.0를 사용합니다. 선택적flash-linear-attention패키지는 빠른 GPU 커널을 추가합니다. - vLLM Semantic Router Engine:
vllm-sr serve -e vllm-sr/d3-ultra, 2026년 10월 25일 PR #5449에 추가되었습니다. - 무료 API: 카드에 적혀 있는 decision.vllm-sr.ai는 d3-ultra를 제공하며, 무료 키가 제공됩니다.
- 데모: 공식 Hugging Face Space.
d3-ultra vs GLiDE V1.2, d1-ultra, Jev 1.14 및 d3-turbo
| 특징 | d3-ultra | d3-turbo | GLiDE V1.2 | d1-ultra | Jev 1.14 |
|---|---|---|---|---|---|
| 개발자 | vLLM 시맨틱 라우터 | vLLM 시맨틱 라우터 | 패스티노 랩스 | Liquid AI | TypeSafe |
| 매개변수 | 26.09B | 26.09B | 26B | 공개되지 않았습니다 | 공개되지 않았습니다 |
| 질문별 맥락 | 131,072 | 32,768 기본값; long_context를 사용할 때는 131,072 | 40,000 기본값 | 32,768 | 262,144 |
| 무게 / 라이선스 | 열기, Apache-2.0 | 열기, Apache-2.0 | 개방형, 파스티노 커뮤니티 라이선스 | 호스팅되지 않음 | 호스팅만 제공, 독점 제품 |
| 입력 | 텍스트, JSON, 이미지, 비디오 | 텍스트, JSON, 이미지, 비디오 | 텍스트, JSON, 이미지 | 텍스트, 이미지 | 텍스트, 이미지 |
| 박스 / 트랙 | 박스 + 트랙 | 박스 + 트랙 | 아니요 | 아니요 | 박스만 |
| SR-텍스트 (vLLM-SR에 의해 자체 보고됨) | 87.2 | 83.1 | 85.1 | 83.4 | 73.1 |
| SR-Box, 10개 도메인 | 58.2% | 60.0% | 지원되지 않음 | 지원되지 않음 | 45.7% |
| 공개 인덱스 점수 | 제출됨, 아직 채택되지 않음 | 70.2 Jev DI (자체 추정치) | 71.5 결정 지수 0.4.1 | 65 AA 결정 지수 | 57 AA 결정 지수 |
| 가격 | 무료 API, 자체 호스팅 | 무료 API, 자체 호스팅 | $0.04 / M 입력 | $0.042 / M 입력 | $0.042 / M 입력 |
주요 요약
- d3-ultra는 27B Apache-2.0 결정 모델로, 어떠한 텍스트도 생성하지 않습니다.
- 입력을 한 번만 읽는다: 1장의 사진에 관한 255개의 질문을 2.16초에 처리한다.
- 그는 팀의 SR-Text 테스트에서 87.2점으로 1위를 차지했으며, GLiDE V1.2의 85.1점보다 앞섰습니다.
- Box Grounding에서 d3-turbo의 점수는 58.2%로, 60.0%에 비해 낮습니다.
- 모든 벤치마크 숫자는 개인적인 테스트 세트를 통해 자발적으로 보고되었습니다.
모델 카드, GitHub 저장소, Decision 3.0 컬렉션 및 Hugging Face Space를 확인해 보세요. 또한, Twitter에서 우리를 팔로우하거나, 150k+ML SubReddit에 가입하고 우리 뉴스레터을 구독하는 것도 좋아요. 잠깐! 당신은 Telegram에도 있나요? 이제 당신도 Telegram에서 우리와 함께할 수 있어요.
GitHub 리포트, Hugging Face 페이지, 제품 출시, 웹인사이트 등을 홍보하기 위해 저희와 협력하고 싶으신가요? 저희와 연락하세요
vLLM Semantic Router가 d3-ultra: 27B 크기의 개방형 멀티모달 의사결정 모델을 출시했습니다라는 게시물은 MarkTechPost에 처음 등장했습니다.