Microsoft는 출시했습니다 Microsoft-Decision-1, 라우팅, 분류, 검증 및 에이전트 제어를 위한 의사결정 모델입니다. Microsoft-Decision-1은 생성된 텍스트 대신 각 고정 답변 옵션에 대해 보정된 확률을 반환하는 의사결정 스코어링 모델입니다. 이 모델은 Alibaba의 Qwen3.5-9B를 후속 학습하여 만들어졌으며 현재 이용 가능합니다: Microsoft Foundry 및 OpenRouter.
TL;DR
- 크기: Qwen3.5-9B 기반; 정확한 파라미터 수는 공개되지 않음. 32,768 토큰 컨텍스트 윈도우.
- 실행 환경: 호스팅 API 전용(Microsoft Foundry, Azure를 통한 OpenRouter). 오픈 웨이트 없음, 양자화 변형 없음, 하드웨어는 비공개.
- 성능: Microsoft의 36개 벤치마크 비교에서 85 ms p50 지연 시간으로 최고 평균 정확도 기록.
- 최고: 36개 벤치마크에서 81.9%를 기록한 Quyet-1.0-Large를 앞서는 83.5% 평균 정확도.
- 최저: 92.2의 보정 점수로, 93.1을 기록한 Quyet-1.0-Large에 이어 2위. 텍스트 전용, 설명 없음.
- 핵심 요약:
- 장점: 백만 입력 토큰당 $0.042에 출력은 무료인 빠르고 저렴하며 보정된 의사결정.
- 단점: 웨이트가 비공개이며 모든 벤치마크가 벤더 자체 실행임.
- 장점: 백만 입력 토큰당 $0.042에 출력은 무료인 빠르고 저렴하며 보정된 의사결정.
의사결정 모델이란?
의사결정 모델은 입력을 읽고 닫힌 옵션 집합에 점수를 매깁니다. 산문(prose)을 작성하지 않습니다. Microsoft는 의사결정 모델을 소프트웨어가 즉시 활용할 수 있는 출력을 위해 만들어진 새로운 AI 범주로 프레임합니다.
Microsoft-Decision-1은 어떻게 작동하나?
Microsoft는 단일 패스 의사결정 스코어링을 위해 Qwen3.5-9B를 후속 학습했습니다주어진 상황, 질문, 고정된 선택지에 대해 한 번의 호출로 선택지별 확률을 반환합니다. 이 모델은 향후 버전을 MAI 및 OpenAI 모델 기반으로 재구축할 계획입니다.
The Foundry 모델 카드 는 지원되는 형식을 나열합니다:
- 예/아니오, 객관식, 평점, 분류 및 루브릭 질문
- AI 응답 및 제안된 에이전트 행동의 채점
- 제공된 근거에 대한 정합성 검사
- "판단 불가"와 같은 명시적 보류 옵션
학습에는 Microsoft의 Open Data 프로세스에 따른 공개 데이터셋과 합성 데이터가 사용되었습니다. 출력은 JSON입니다. OpenRouter는 가중치는 지속적으로 업데이트되지만 API 형태는 고정된 상태로 유지된다고 밝혔습니다.
속도와 정확도는 어느 정도일까?
Microsoft는 9개 시스템을 147,137개 질문이 포함된 36개 벤치마크에서 비교했습니다. 벤치마크는 학습 과정에서 비공개로 유지되었습니다. Microsoft-Decision-1은 평균 정확도 83.5%로 1위를 차지했습니다.
p50 지연 시간은 85 ms였고 p95는 125 ms였습니다. 이는 3.01초가 걸린 GPT-6 Sol보다 35배, Quyet-1.0-Large보다 4.5배 빠른 속도입니다, 여기에는 3.01초가 걸렸습니다.
Microsoft는 또한 견고성을 테스트했습니다. 각 요청을 패러프레이징과 선택지 셔플링을 포함해 8가지 방식으로 변형합니다. 모델은 평균 변형의 1.3%에서 결정을 뒤집었습니다 . 선택지가 패러프레이징, 역순 또는 셔플링된 경우에는 뒤집힘이 전혀 없었습니다.
안전성 측면에서 Microsoft는 11개 벤치마크에 걸쳐 5,250개의 요청을 실행했습니다. 이는 유해 콘텐츠, 탈옥(jailbreak) 및 프롬프트 인젝션을 다뤘습니다. Microsoft는 점수를 공개하지 않으면서 높은 유틸리티 유지와 함께 올바른 거절을 보고했습니다.
Microsoft가 보고한 내부 결과:
- Xbox Research: GPT-6 Sol보다 14배 빠르고 200배 저렴하게 10,000개 이상의 피드백 항목을 분류했습니다.
- Copilot 품질 관리: GPT5.6 Luna와 경쟁력이 있으며 100배 빠릅니다.
- Microsoft Discovery: 3배 속도로 LLM 점수 매기기보다 46배 더 일관성이 있습니다.
다른 의사결정 모델들과 어떻게 비교됩니까?
| 기능 | Microsoft-Decision-1 | Quyet-1.0-Large | H2O-Lightning-4B | GPT-6 Luna Decisions |
|---|---|---|---|---|
| 개발자 | Microsoft | Chinh Nguyen | H2O.ai | OpenAI |
| 기반 모델 | Qwen3.5-9B | Gemma-4-31B-it (LoRA 병합) | Qwen3.5-4B | 비공개 |
| 파라미터 | 비공개 | 31.3B | 4B | 비공개 |
| 컨텍스트 / 입력 | 32,768 토큰 | 8,000 토큰 프롬프트 (6,000 상태) | 40,960 (vLLM serve 설정) | 비공개 |
| 라이선스 | 독점 API | Apache-2.0 | Apache-2.0 | 독점 API |
| 모달리티 | 텍스트 | 텍스트 | 텍스트와 이미지 | 텍스트 및 이미지 |
| 하드웨어 | 호스티드(Azure) | 1x 80 GB GPU, bf16 | 32 GB GPU에서 테스트됨; 가중치 9.1 GB | 호스팅됨 |
| 정확도(Microsoft, 36개 벤치마크) | 83.5% | 81.9% | 77.2% | 79.4% |
| 캘리브레이션(Microsoft) | 92.2 | 93.1 | 91.8 | 89.9 |
| Microsoft 차트의 중앙값 지연 시간 | 85 ms | 380 ms | 210 ms | 300 ms |
| 가격 | 입력 $0.042/M, 출력 무료 | 셀프 호스팅 | 셀프 호스팅 | 입력 $0.10/M, 출력 무료 |
정확도, 보정 및 지연 시간 행은 다음에서 가져왔습니다. 마이크로소프트의 차트. 해당 지역의 경쟁사 지연 시간은 다음을 사용합니다 JevBench v1.6.1 조정된 중위값.
이 지연 시간 비교는 동일한 조건끼리의 공정한 비교인가요?
완전히 그렇지는 않습니다. 마이크로소프트는 자사 모델을 Foundry를 통해 측정했습니다. 경쟁사 수치는 원시 시간이 아니라 JevBench의 조정된 중간값을 사용합니다.
H2O.ai의 모델 카드 이에 대해 이의를 제기합니다. JevBench의 조정된 수치는 측정 시간에 2를 곱하고 0.15초를 더한다고 밝힙니다. H2O는 자사 모델의 측정 중앙값이 210 ms가 아니라 29 ms라고 말합니다. Microsoft-Decision-1은 JevBench 보드에 나타나지 않습니다. 해당 보드의 공식 복합 지표에서, H2O-Lightning-4B, 72.5점으로 1위 기록.
개발자들은 이것을 어떻게 배포하나요?
개발자는 다음에서 호출할 수 있습니다 Microsoft Foundry 일반 공급(GA) 형태의 'Azure 직접(Direct from Azure)' 모델로 제공됩니다. On OpenRouter, Decisions API에서 실행되며 채팅 엔드포인트가 아닙니다. 채팅 completions SDK는 작동하지 않습니다.
가격은 다음과 같습니다 백만 입력 토큰당 $0.042, 출력은 무료. OpenAI의 Luna decisions 엔드포인트 백만 입력 토큰당 0.10달러를 청구합니다.
한계점은 무엇인가요?
그 모델 카드 명시적입니다:
- 텍스트 생성, 개방형 Q&A, 채팅, 번역 또는 요약에는 사용하지 마십시오.
- 텍스트 전용입니다. 이미지, 오디오 또는 비디오가 없습니다.
- 출력에 설명이나 근거를 포함하지 마십시오.
- 신용, 고용, 주택, 의료 또는 법적 권리에 대한 단독 자동 의사결정 용도로는 사용할 수 없습니다.
- 애플리케이션은 옵션, 임계값, 에스컬레이션 경로 및 인간의 감독을 정의해야 합니다.
핵심 요약
- Microsoft-Decision-1은 텍스트가 아닌 보정된 확률로 고정된 선택지를 채점합니다.
- Qwen3.5-9B를 포스트 트레이닝하여 제작되었으며, 32,768 토큰의 컨텍스트 윈도우를 갖추고 있습니다.
- 83.5%의 정확도와 85 ms p50으로 마이크로소프트의 36개 벤치마크 비교에서 선두를 달립니다.
- 백만 입력 토큰당 $0.042의 비용이 들며, 출력 토큰은 무료입니다.
- 지연 시간 비교는 논쟁의 여지가 있으며, 독립적인 JevBench 결과는 아직 나오지 않았습니다.
다음을 확인해 보세요: 공식 발표, 그 파운드리 모델 카드 그리고 OpenRouter 등재. 이 프로젝트의 연구자에게 모든 공을 돌립니다. 또한 저희를 Twitter 에서 팔로우하고 150k+ML SubReddit 에 가입하는 것을 잊지 마시고 our Newsletter을 구독해 주세요. 잠깐! 텔레그램을 사용하고 계신가요? 이제 텔레그램에서도 저희와 함께하실 수 있습니다.
이 게시글 Microsoft AI, Microsoft-Decision-1 공개: Qwen3.5-9B 기반 의사결정 평가(Decision-Scoring) 모델 는 최초에 게시되었습니다 MarkTechPost.