The vLLM Semantic Router 팀이 Decision 3.0이라는 멀티모달 결정 모델 시리즈를 공개했습니다. Decision 3.0 멀티모달 결정 모델은 텍스트, JSON, 이미지를 읽고, 이들에 대한 타입이 지정된 질문에 답합니다. 0.8B부터 27B까지 5가지 크기가 있으며, 모두 Apache-2.0 라이선스로 제공됩니다. 개발자에게 이는 생성된 텍스트를 파싱하지 않고도 요청을 분류, 라우팅, 게이팅하는 빠른 방법입니다.
TL;DR
- 크기: 5개 모델: d3-lite (0.85B), d3-nano (2.21B), d3-mini (4.54B), d3-flash (8.39B), d3 (26.09B). 컨텍스트 길이: 공개되지 않음.
- 실행 환경: 지연 시간은 AMD Instinct MI325X GPU 1개에서 측정되었습니다. BF16 가중치; 공식 양자화 변형은 목록에 없음.
- 성능: 27B d3는 해당 카드에서 텍스트 및 비전 표 모두에서 선두이지만, 이는 내부 평가 기준입니다.
- 최고: KIE (CORD+FUNSD) 문서 추출에서 97.7 (d3).
- 최저: R-Bench-M에서 34.1 (d3).
- 요약:
- 최고: 이제 9B 모델이 지난 세대의 27B를 능가합니다.
- 최저: 점수는 라이브 보드 데이터 대비 자체 보고된 수치입니다.
Decision 3.0란 무엇인가?
Decision 3.0은 텍스트 대신 확률을 반환하는 vLLM Semantic Router의 오픈 결정 모델 세트입니다. 상태(텍스트 또는 JSON), 선택적 이미지, 이름이 지정된 질문들을 전달합니다. 각 질문은 Choice, Yes/No, 또는 척도 기반 Score입니다. 이 모델은 한 번의 호출로 모든 질문에 답하고 모든 답변에 대한 확률을 반환합니다.
이것은 라우터와 가드레일을 위한 ‘시스템 원(system one)’ 패턴입니다. LLM에 프롬프트를 보내고 그 출력을 파싱하는 대신, 임계값으로 처리할 수 있는 보정된 점수를 얻습니다.
d3는 어떻게 작동하나?
각 모델은 Qwen 베이스의 파인튜닝입니다. 27B d3는 Qwen3.8-27B를 기반으로 구축되었습니다. 더 작은 4개는 0.8B, 2B, 4B, 9B의 Qwen3.5 체크포인트를 기반으로 합니다.
모든 크기에는 비전 인코더가 포함되어 있습니다: d3-lite에는 0.10B, d3-nano와 d3-mini에는 0.33B, d3-flash와 d3에는 0.46B. 요청 시 여러 개의 PNG, JPEG 또는 WebP 이미지를 받을 수 있으며, 각 이미지는 최대 1.6 메가픽셀로 읽힙니다. 모든 질문은 모든 이미지를 봅니다.
각 질문은 입력에 대해 자체적인 순전파를 수행합니다. 설치 대상은 transformers==5.17.0이며, 선택적 flash-linear-attention 패키지가 선형 어텐션 레이어의 속도를 높입니다. 로딩에는 필요: trust_remote_code=True.
Decision 3.0은 벤치마크에서 어떤 성능을 보이나?
모델 카드를 통해 연구팀은 Jev Decision Index 0.3.1, 즉 TypeSafe의 Jev 결정 시스템의 오픈 재현본들을 순위 매기는 보드를 언급합니다. d3 수치는 팀의 내부 평가입니다.
텍스트에서 d3는 64.1점을 기록하며 Perplexity Decider v1.1 (62.8)과 Jev (60.1)를 앞섭니다. 한 가지 주의점: Torchcast Decision 27B는 더 높은 공개 스위트 점수(65.1 vs 64.9)를 기록합니다. 비전 보드에서 d3는 Perplexity Decider v1.1의 70.6 대비 71.6점을 기록합니다.
크기 측면의 이야기가 가장 강력한 부분입니다. d3-flash (9B)는 59.0점으로, 55.9점인 Decision 2.0의 27B보다 높습니다. 공개 스위트에서 Decision 2.0 대비 향상폭은 +8.0 (27B)에서 +15.1 (0.8B)에 이릅니다.
다만 클래스 선두는 균일하지 않습니다:
- d3-mini (4B)와 d3-flash (9B)는 텍스트와 비전 양쪽 표에서 모두 선두입니다.
- d3-lite (0.8B)는 텍스트에서 선두이지만 비전에서는 3위입니다(41.1, 42.1인 JPT-0.8B에 뒤짐).
- d3-nano (2B)는 비전 표에서 선두이지만 텍스트에서는 LiquidAI d1-3B에 뒤집니다(35.8 vs 40.1).
공개 비전 태스크에서 d3는 InfographicVQA에서 97.3, Mind2Web에서 89.9를 기록하며, 둘 다 대략적으로 재구축된 것들입니다. MMMU-Pro vision (46.2)과 Hateful Memes moderation (44.6)에서는 더 약합니다.
모델은 얼마나 빠른가?
아래 중앙값은 각 카드별로 1개의 AMD Instinct MI325X에서 한 번에 1 요청 기준입니다:
- d3-nano: 텍스트 21.7 ms, 이미지 포함 92.0 ms
- d3-lite: 텍스트 23.5 ms, 이미지 포함 시 60.7 ms
- d3-mini: 텍스트 28.5 ms, 이미지 포함 시 115.0 ms
- d3-flash: 텍스트 29.7 ms, 이미지 포함 시 171.8 ms
- d3: 텍스트 84 ms, 이미지 포함 시 342 ms
모든 모델은 AMD Instinct MI325X GPU로 학습되었습니다.
d3는 다른 의사결정 모델과 어떻게 비교됩니까?
| 특징 | d3 (vLLM SR) | Perplexity Decider v1.1 | Decision 2.0 Vega-27B | LiquidAI d1-3B |
|---|---|---|---|---|
| 파라미터 | 26.09B | 26B (HF listing) | 29.37B | 3.12B |
| 기반 모델 | Qwen3.8-27B | Qwen3.8-27B | Qwen3.8-27B | LFM2.5-VL-3B |
| 입력 | 텍스트, JSON, 이미지 | 텍스트, 이미지 | 텍스트, JSON | 텍스트, JSON, 이미지 |
| 컨텍스트 | 공개되지 않음 | 의사결정당 8,192 tokens | 32,768 tokens | 32,768 tokens |
| 라이선스 | Apache-2.0 | Apache-2.0 | Apache-2.0 | LFM 1.0 |
| Decision Index(본인 카드) | 64.1 (v0.3.1, internal) | 61.56 (버전 미표기) | 56.5 (v0.2.1) | 48.57 (v0.2.1) |
| 인덱스 0.3.1 보드 (d3 카드 기준) | 64.1 | 62.8 | 55.9 | 40.1 |
| 비전 보드 0.3.1 | 71.6 | 70.6 | 공개되지 않음(텍스트만 포함) | 공개되지 않음 |
| 중앙값 지연 시간(자체 카드) | 84 ms 텍스트, 1 MI325X | 공개되지 않음 | 71.4 ms, GPU 1대 | 9 ms, 1 MI325X |
핵심 요약
- Apache-2.0 라이선스의 결정 모델 5개, 0.8B부터 27B까지, 모두 이미지 입력을 지원합니다.
- d3 (27B)는 사내 평가에서 텍스트(64.1) 및 비전(71.6) 표 모두에서 1위를 차지했습니다.
- 9B d3-flash(59.0)가 Decision 2.0의 27B(55.9)를 앞섭니다.
- 0.8B 및 2B 모델이 모든 벤치마크에서 선두를 차지하는 것은 아닙니다.
- 1 MI325X에서 중간 텍스트 지연 시간은 21.7ms에서 84ms 사이입니다.
다음을 확인해 보세요 Hugging Face 컬렉션, 이 d3 모델 카드 그리고 그 vLLM Semantic Router GitHub 저장소. 이 프로젝트의 연구자에게 모든 공이 돌아갑니다. 또한 언제든지 저희를 팔로우해 주세요. 트위터 그리고 저희의 다음 항목에 참여하는 것을 잊지 마세요. ML 서브레딧의 150k+ 회원이 되어주세요 그리고 다음을 구독하세요 저희 뉴스레터. 잠깐! 텔레그램을 사용하시나요? 이제 텔레그램에서도 저희와 함께하실 수 있습니다.
다음 포스트 Decision 3.0이란? vLLM Semantic Router의 새로운 오픈 디시전 모델 은 처음에 다음 사이트에 게시되었습니다 MarkTechPost.