Cloudflare 已发布 Clef-omni, 即其 Clef 决策模型家族中一个新的开放权重成员。Clef-omni 是 Cloudflare 的一个决策模型,可通过 1 次调用对文本、图像、音频和视频进行评分。它于 2026 年 10 月 9 日发布,比……晚了 8 天。 原版 Clef 和 Clef-flash 的发布晚了 8 天。同一次更新将 Clef-flash 的价格降至 TypeSafe 的 Jev 之下，并使托管版 Clef 的速度提升约 2 倍。对开发者而言，这免去了多模态代理流水线通常所需的转录和字幕生成步骤。
TL;DR
- 规模： 总计 30B 参数，3B 激活参数（MoE）；在 Workers AI 上支持 64,000 token 上下文
- 运行环境： 在 Workers AI 上作为 运行；自托管已在单块 H200 上测试，bfloat16 下约需 64 GB GPU 显存
@cf/cloudflare/clef-omni；自托管在单个 H200 上测试，bfloat16 精度下约占用 64 GB GPU 显存 - 在路由和意图任务上接近 Clef，在大多数推理和工作流评测中落后于它 最佳：
- 在 CLINC150+OOS 上达到 97.7 macro-F1，位居 4 个 Clef 和 Jev 模型之首 在 CLINC150+OOS 上达到 97.7 macro-F1，位居 4 个 Clef 和 Jev 模型之首
- 在 POP909-CL 上仅为 2.6 准确率，GPQA Diamond 上为 47.4，而 Jev 为 78.3 在 POP909-CL 上准确率为 2.6，在 GPQA Diamond 上为 47.4，而 Jev 为 78.3
- 最佳：一次调用即可跨 4 种模态做出决策。
- 最佳：一次调用即可跨 4 种模态做出决策。
- 什么是决策模型？
决策模型返回带有概率的类型化答案，而不是生成的文本。你发送一个
以及一个由问题组成的 schema。模型为每个允许的选项返回一个概率。Clef 支持 state 3 种问题类型 3 种问题类型: noul 和 choice 。该格式遵循来自 scoreTypeSafe AI 的 Jev 和 SystemOne API。.
Clef-omni 是如何工作的？
Clef-omni 是由以下模型后训练而来 Qwen3-Omni-30B-A3B-Instruct。Cloudflare 保留了理解主干，并去除了文本转语音输出路径。该模型对完整负载运行单次预填充。视频帧和音频同步到 1 个序列中进行联合处理。
一个小型联合模式头随后对各个选项进行评分。每个有效选项首先从输入中收集证据。然后字段向量在完整上下文上进行交叉注意力计算，以得出置信度分数。Cloudflare 冻结了 Qwen3 主干网络并训练了 LoRA 适配器。训练将标签平滑的交叉熵与 Brier 分数校准相结合。
根据 Workers AI 支持的输入说明， 开发者文档:
- 图片：最多4张，PNG、JPEG或WebP格式，每张64至1,024个token
- 音频：最多4个音频片段，WAV或MP3格式，每个最长300秒，每分钟约780个token
- 视频：最多2个片段，MP4或WebM格式，每段60秒，采样率为每秒2帧
- 问题：每个请求 1 到 64 个
Cloudflare报告称，文本判断的中位数耗时约为130毫秒，图像约为150毫秒。一段21秒的带声音视频约在1.5秒内完成评分。
Clef-omni 在基准测试中表现如何？
Cloudflare 将 Clef-omni 与 Clef、Clef-flash 和 Jev 在其 Decision Index 运行结果上进行了比较。Clef-omni 在意图分类方面领先：BANKING77 上 macro-F1 为 94.8，CLINC150+OOS 上为 97.7。它还在 Amazon ESCI 上以 57.8 位居榜首。
在其他方面则落后。家电类 case-exact 准确率为 69.3，而 Clef-flash 为 97.73。When2Call 准确率为 63.3，而 Jev 为 80.97。在 TypeSafe 的工作流评估中，Clef-omni 在全部 5 项报告指标上都低于 Clef。
Clef-omni vs Clef vs Clef-flash vs Jev
| 功能 | Clef-omni | Clef | Clef-flash | Jev |
|---|---|---|---|---|
| 开发者 | Cloudflare | Cloudflare | Cloudflare | TypeSafe AI |
| 参数 | 总计30B，活跃3B（MoE） | 27B dense | 9B dense | 未披露 |
| 基础模型 | Qwen3-Omni-30B-A3B-Instruct | Qwen3.8-27B | Qwen3.5-9B | 未披露 |
| 输入 | 文本、图像、音频、视频 | 文本、图像、视频帧 | 文本、图像、视频帧 | 文本（根据 Cloudflare) |
| 托管上下文 | 64,000 tokens | 64k | 24k（自托管为256k） | TypeSafe未披露（Cloudflare引用为32k） |
| 每百万tokens输入价格 | $0.15 | $0.24 | $0.038 | $0.042 |
| 许可证 | Apache-2.0 | Apache-2.0 | Apache-2.0 | 仅限 API，抢先体验 |
| BANKING77（macro-F1） | 94.8 | 94.20 | 90.93 | 79.74 |
| CLINC150+OOS（macro-F1） | 97.7 | 97.43 | 66.77 | 89.27 |
| When2Call（准确率） | 63.3 | 72.37 | 65.58 | 80.97 |
| BRIGHT（nDCG@10） | 42.0 | 45.91 | 39.26 | 47.52 |
| 发票处理，主要动作 | 82.0 | 86.2 | 73.3 | 83.1 |
基准测试分数来自 Cloudflare 的公告 ，且未经独立验证。
Clef 快了多少？
Cloudflare 将托管的 Clef 迁移到 SGLang 并调优了其服务栈。没有发布新的权重。在约 800 token 时，中位延迟从 262 ms 降至 152 ms，提升 1.7 倍。在约 3,400 token 时，从 616 ms 降至 305 ms，提升 2.0 倍。在约 16,000 token 时，从 2,721 ms 降至 1,635 ms。Clef 支持将在 SGLang 0.5.22 中落地。
要点总结
- Clef-omni 在 1 次决策调用中对文本、图像、音频和视频进行评分。
- 它是基于 Qwen3-Omni 的 30B-A3B MoE，采用 Apache-2.0 许可，价格为每百万 token 0.15 美元。
- Clef-flash 现价 0.038 美元，低于 Jev 的 0.042 美元，提供 24k 托管上下文。
- 迁移到 SGLang 后，托管 Clef 的中位延迟提升 1.7 至 2.0 倍。
- Clef-omni 在意图任务中获胜，但在推理和工作流评估上落后于 Clef。
查看 Cloudflare 公告, 模型权重 和 Workers AI 文档。所有功劳归于该项目的研究者。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ML SubReddit 并订阅 我们的通讯。等等！你在用 telegram 吗？ 现在你也可以在 telegram 上加入我们了。
这篇文章 认识 Cloudflare Clef-omni：一款面向音频、视频、图像和文本的 30B-A3B 多模态决策模型 首发于 MarkTechPost.