Cloudflare가 출시했습니다 Clef-omni, Clef 결정 모델 계열의 오픈 웨이트 신규 멤버를 공개했습니다. Clef-omni는 Cloudflare의 결정 모델로, 텍스트, 이미지, 오디오, 비디오를 1회 호출로 평가합니다. 2026년 10월 9일, 이로부터 8일 뒤에 등장한 오리지널 Clef 및 Clef-flash 출시. 동일한 업데이트로 Clef-flash 가격이 TypeSafe의 Jev보다 낮아졌고 호스티드 Clef는 약 2배 빨라졌습니다. 개발자 입장에서는 멀티모달 에이전트 파이프라인에서 보통 필요했던 전사 및 자막 생성 단계가 없어지는 것입니다.
요약
- 크기: 30B 총 파라미터, 3B 활성 파라미터(MoE); Workers AI에서 64,000토큰 컨텍스트
- 실행 환경: Workers AI를
@cf/cloudflare/clef-omni; 단일 H200에서의 셀프 호스팅 테스트, bfloat16 기준 약 64 GB의 GPU 메모리 - 성능: 라우팅 및 의도 작업에서는 Clef에 근접하지만, 대부분의 추론 및 워크플로 평가에서는 이에 뒤처집니다
- 최고: CLINC150+OOS에서 97.7 macro-F1을 기록하며 4개의 Clef 및 Jev 모델 가운데 최상위 성능을 보였습니다
- 최악: POP909-CL에서 2.6 정확도, GPQA Diamond에서 Jev의 78.3 대비 47.4
- 핵심 요약:
- 최고: 하나의 호출로 4가지 모달리티 전반을 결정합니다.
- 최악: 어려운 추론 문제에서 텍스트 중심인 Clef보다 정확도가 낮음.
결정 모델이란 무엇인가?
결정 모델은 생성된 텍스트 대신 확률이 포함된 타입화된 답변을 반환합니다. 다음을 전송합니다: state 그리고 질문 스키마입니다. 모델은 허용된 모든 선택지에 대해 확률을 반환합니다. Clef는 지원합니다 3가지 질문 유형: noul (참 또는 거짓), choice 그리고 score. 이 형식은 다음의 Jev 및 SystemOne API를 따른다. TypeSafe AI.
Clef-omni는 어떻게 작동하나요?
Clef-omni는 다음으로부터 사후 학습되었습니다. Qwen3-Omni-30B-A3B-Instruct. Cloudflare는 이해 백본은 유지하고 텍스트-음성 변환 출력 경로는 제거합니다. 모델은 전체 페이로드에 대해 단일 prefill 패스를 실행합니다. 비디오 프레임과 오디오는 공동 처리를 위해 1개의 시퀀스로 동기화됩니다.
작은 공동 스키마 헤드가 이어서 옵션들을 평가합니다. 각 유효 옵션은 먼저 입력으로부터 증거를 수집합니다. 그런 다음 필드 벡터들이 전체 컨텍스트에 걸쳐 크로스 어텐션을 수행하여 신뢰도 점수를 계산합니다. Cloudflare는 Qwen3 백본을 동결(freeze)하고 LoRA 어댑터를 학습시켰습니다. 학습은 라벨 스무딩(label-smoothing)이 적용된 교차 엔트로피와 Brier 점수 보정을 결합하여 진행되었습니다.
Workers AI에서 지원되는 입력 형식은 다음에 따릅니다: 개발자 문서:
- 이미지: 최대 4개, PNG, JPEG 또는 WebP, 각각 64~1,024 토큰
- 오디오: 최대 4개 클립, WAV 또는 MP3, 각 300초, 분당 약 780 토큰
- 비디오: 최대 2개 클립, MP4 또는 WebM 형식, 각 60초, 초당 2프레임으로 샘플링
- 질문: 요청당 1~64개
Cloudflare는 텍스트 판정을 중앙값 기준 약 130 ms에, 이미지는 약 150 ms에 처리한다고 보고했습니다. 소리가 있는 21초 길이의 동영상은 약 1.5초 만에 채점됩니다.
Clef-omni는 벤치마크에서 어떤 성능을 보이나요?
Cloudflare는 Clef-omni를 Clef, Clef-flash 및 Jev와 자사의 결정 지수 실행됩니다. Clef-omni는 의도 분류에서 선두를 차지합니다: BANKING77에서 94.8 macro-F1, CLINC150+OOS에서 97.7을 기록했습니다. Amazon ESCI에서도 57.8로 1위입니다.
다른 곳에서는 뒤처집니다. 가전제품 케이스 정확도(Home appliances case-exact accuracy)는 69.3로, Clef-flash의 97.73에 미치지 못합니다. When2Call 정확도는 63.3으로, Jev의 80.97에 비해 낮습니다. On TypeSafe의 워크플로 평가, Clef-omni는 보고된 5개 지표 모두에서 Clef보다 낮은 점수를 기록합니다.
Clef-omni 대 Clef 대 Clef-flash 대 Jev
| 기능 | Clef-omni | Clef | Clef-flash | Jev |
|---|---|---|---|---|
| 개발자 | Cloudflare | Cloudflare | Cloudflare | TypeSafe AI |
| 파라미터 | 총 30B, 활성 3B (MoE) | 27B dense | 9B dense | 공개되지 않음 |
| 베이스 모델 | Qwen3-Omni-30B-A3B-Instruct | Qwen3.8-27B | Qwen3.5-9B | 공개되지 않음 |
| 입력 | 텍스트, 이미지, 오디오, 비디오 | 텍스트, 이미지, 비디오 프레임 | 텍스트, 이미지, 비디오 프레임 | 텍스트 (per Cloudflare) |
| 호스팅 컨텍스트 | 64,000 토큰 | 64k | 24k (자체 호스팅 시 256k) | TypeSafe가 공개하지 않음 (Cloudflare는 32k로 언급) |
| M 토큰당 입력 가격 | $0.15 | $0.24 | $0.038 | $0.042 |
| 라이선스 | Apache-2.0 | Apache-2.0 | Apache-2.0 | API 전용, 얼리 액세스 |
| BANKING77 (macro-F1) | 94.8 | 94.20 | 90.93 | 79.74 |
| CLINC150+OOS (macro-F1) | 97.7 | 97.43 | 66.77 | 89.27 |
| When2Call (정확도) | 63.3 | 72.37 | 65.58 | 80.97 |
| BRIGHT (nDCG@10) | 42.0 | 45.91 | 39.26 | 47.52 |
| 송장 처리, 기본 액션 | 82.0 | 86.2 | 73.3 | 83.1 |
벤치마크 점수는 Cloudflare의 발표 에서 가져온 것이며 독립적으로 검증되지 않았습니다.
Clef는 얼마나 더 빨라졌을까요?
Cloudflare는 호스팅된 Clef를 SGLang 으로 옮기고 서빙 스택을 튜닝했습니다. 새로운 가중치는 공개되지 않았습니다. 약 800 토큰에서 중앙값 지연 시간이 262 ms에서 152 ms로 감소하여 1.7배의 향상을 보였습니다. 약 3,400 토큰에서는 616 ms에서 305 ms로 감소하여 2.0배의 향상을 보였습니다. 약 16,000 토큰에서는 2,721 ms에서 1,635 ms로 떨어졌습니다. Clef 지원은 SGLang 0.5.22에 포함됩니다.
핵심 요약
- Clef-omni는 텍스트, 이미지, 오디오, 비디오를 1번의 결정 호출로 평가합니다.
- Qwen3-Omni 기반의 30B-A3B MoE 모델로, Apache-2.0 라이선스이며 백만 토큰당 $0.15입니다.
- Clef-flash는 이제 $0.038로 Jev의 $0.042보다 낮으며, 24k 호스팅 컨텍스트를 제공합니다.
- 호스팅된 Clef는 SGLang으로 이전한 후 중앙값 기준 1.7배에서 2.0배 빨라졌습니다.
- Clef-omni는 의도(intent) 작업에서 승리하지만 추론 및 워크플로 평가에서는 Clef에 뒤처집니다.
다음을 확인해 보세요: Cloudflare 발표, 모델 가중치 그리고 Workers AI 문서. 이 프로젝트의 연구자에게 모든 공이 돌아갑니다. 또한 저희를 Twitter 에서 팔로우하고 저희 150k+ML SubReddit 에 가입하시며 저희 뉴스레터를 구독하는 것도 잊지 마세요. 잠깐! 텔레그램을 사용하고 계신가요? 이제 텔레그램에서도 저희와 함께하실 수 있습니다.
이 글은 Cloudflare Clef-omni 만나기: 오디오, 비디오, 이미지 및 텍스트를 위한 30B-A3B 멀티모달 의사결정 모델 최초 게재 MarkTechPost.