Cloudflare ha lanzado Clef-omni, un nuevo miembro de pesos abiertos de su familia de modelos de decisión Clef. Clef-omni es un modelo de decisión de Cloudflare que puntúa texto, imágenes, audio y video en 1 llamada. Llegó el 9 de octubre de 2026, 8 días después del lanzamiento original de Clef y Clef-flash. La misma actualización redujo el precio de Clef-flash por debajo del Jev de TypeSafe e hizo que Clef alojado fuera aproximadamente 2x más rápido. Para los desarrolladores, esto elimina los pasos de transcripción y subtitulado que los pipelines de agentes multimodales suelen necesitar.
TL;DR
- Tamaño: 30B en total, 3B de parámetros activos (MoE); contexto de 64,000 tokens en Workers AI
- Se ejecuta en: Workers AI como
@cf/cloudflare/clef-omni; autoalojamiento probado en una sola H200, unos 64 GB de memoria GPU en bfloat16 - Rendimiento: Cercano a Clef en tareas de enrutamiento e intención, por detrás en la mayoría de las evaluaciones de razonamiento y flujos de trabajo
- Mejor: 97.7 macro-F1 en CLINC150+OOS, el mejor de los 4 modelos Clef y Jev
- Peor: 2.6 de precisión en POP909-CL, y 47.4 en GPQA Diamond frente al 78.3 de Jev
- Conclusión:
- Lo mejor: una llamada decide a través de 4 modalidades.
- Lo peor: precisión más débil que la de Clef, centrado en texto, en razonamiento difícil.
¿Qué es un modelo de decisión?
Un modelo de decisión devuelve respuestas tipadas con probabilidades en lugar de texto generado. Usted envía un state y un esquema de preguntas. El modelo devuelve una probabilidad para cada opción permitida. Clef admite 3 tipos de preguntas: noul (verdadero o falso), choice y score. El formato sigue la API de Jev y SystemOne de TypeSafe AI.
¿Cómo funciona Clef-omni?
Clef-omni se entrena posteriormente a partir de Qwen3-Omni-30B-A3B-Instruct. Cloudflare conserva la columna vertebral de comprensión y elimina la ruta de salida de texto a voz. El modelo ejecuta una única pasada de prefill sobre toda la carga. Los fotogramas de video y el audio se sincronizan en 1 secuencia para un procesamiento conjunto.
Una pequeña cabeza de esquema conjunto luego puntúa las opciones. Cada opción válida primero recopila evidencia de la entrada. Los vectores de campo luego realizan atención cruzada a lo largo de todo el contexto para calcular puntuaciones de confianza. Cloudflare congeló la columna vertebral de Qwen3 y entrenó adaptadores LoRA. El entrenamiento combinó cross-entropy con suavizado de etiquetas y calibración con puntuación Brier.
Entradas admitidas en Workers AI, según los documentos para desarrolladores:
- Imágenes: hasta 4, en PNG, JPEG o WebP, de 64 a 1,024 tokens cada una
- Audio: hasta 4 clips, WAV o MP3, de 300 segundos cada uno, unos 780 tokens por minuto
- Video: hasta 2 clips, MP4 o WebM, de 60 segundos cada uno, muestreados a 2 fotogramas por segundo
- Preguntas: de 1 a 64 por solicitud
Cloudflare informa decisiones de texto en unos 130 ms en la mediana e imágenes en unos 150 ms. Un video de 21 segundos con sonido se puntúa en unos 1.5 segundos.
¿Cómo rinde Clef-omni en los benchmarks?
Cloudflare comparó Clef-omni contra Clef, Clef-flash y Jev en su ejecución del Decision Index . Clef-omni lidera en clasificación de intención: 94.8 macro-F1 en BANKING77 y 97.7 en CLINC150+OOS. También encabeza Amazon ESCI con 57.8.
Queda atrás en otras áreas. La precisión exacta por caso en electrodomésticos es 69.3, frente a 97.73 de Clef-flash. La precisión en When2Call es 63.3, frente a 80.97 de Jev. En las evaluaciones de flujo de trabajo de TypeSafe, Clef-omni puntúa por debajo de Clef en las 5 métricas reportadas.
Clef-omni vs Clef vs Clef-flash vs Jev
| Característica | Clef-omni | Clef | Clef-flash | Jev |
|---|---|---|---|---|
| Desarrollador | Cloudflare | Cloudflare | Cloudflare | TypeSafe AI |
| Parámetros | 30B totales, 3B activos (MoE) | 27B densos | 9B densos | No revelado |
| Modelo base | Qwen3-Omni-30B-A3B-Instruct | Qwen3.8-27B | Qwen3.5-9B | No revelado |
| Entradas | Texto, imagen, audio, video | Texto, imagen, fotogramas de video | Texto, imagen, fotogramas de video | Texto (según Cloudflare) |
| Contexto alojado | 64,000 tokens | 64k | 24k (256k autoalojado) | No revelado por TypeSafe (Cloudflare cita 32k) |
| Precio de entrada por millón de tokens | $0.15 | $0.24 | $0.038 | $0.042 |
| Licencia | Apache-2.0 | Apache-2.0 | Apache-2.0 | Solo API, acceso anticipado |
| BANKING77 (macro-F1) | 94.8 | 94.20 | 90.93 | 79.74 |
| CLINC150+OOS (macro-F1) | 97.7 | 97.43 | 66.77 | 89.27 |
| When2Call (exactitud) | 63.3 | 72.37 | 65.58 | 80.97 |
| BRIGHT (nDCG@10) | 42.0 | 45.91 | 39.26 | 47.52 |
| Procesamiento de facturas, acción principal | 82.0 | 86.2 | 73.3 | 83.1 |
Las puntuaciones de los benchmarks provienen de el anuncio de Cloudflare y no fueron verificadas de forma independiente.
¿Cuánto más rápido es Clef?
Cloudflare movió Clef alojado a SGLang y ajustó su pila de servicio. No se publicaron pesos nuevos. La latencia mediana cayó de 262 ms a 152 ms a unos 800 tokens, una ganancia de 1.7x. A unos 3,400 tokens cayó de 616 ms a 305 ms, una ganancia de 2.0x. A unos 16,000 tokens bajó de 2,721 ms a 1,635 ms. El soporte de Clef llega en SGLang 0.5.22.
Conclusiones clave
- Clef-omni puntúa texto, imágenes, audio y video en 1 llamada de decisión.
- Es un MoE 30B-A3B sobre Qwen3-Omni, Apache-2.0, a $0.15 por millón de tokens.
- Clef-flash ahora cuesta $0.038, por debajo de los $0.042 de Jev, con 24k de contexto alojado.
- Clef alojado es entre 1.7x y 2.0x más rápido en la mediana tras migrar a SGLang.
- Clef-omni gana en tareas de intención pero queda por detrás de Clef en evaluaciones de razonamiento y flujos de trabajo.
Echa un vistazo al anuncio de Cloudflare, los pesos del modelo y la documentación de Workers AI. Todo el crédito va para el investigador de este proyecto. Además, no dudes en seguirnos en Twitter y no olvides unirte a nuestro 150k+ML SubReddit y suscribirte a nuestro boletín. ¡Espera! ¿estás en telegram? ahora también puedes unirte a nosotros en telegram.
La publicación Conoce Cloudflare Clef-omni: Un modelo de decisión multimodal de 30B-A3B para audio, video, imagen y texto apareció primero en MarkTechPost.