IT之家 El 10 de octubre, Cloudflare publicó ayer (9 de octubre) un anuncio en el que anunció la lanzamiento del modelo de decisión de peso abierto Clef-omni, que permite procesar texto, imágenes, audio y video con una única llamada API.
En cuanto a la localización, este modelo se basa en los modelos de la serie Clef anteriormente, y proporciona soporte para entradas multimodales. Los pesos del modelo ya están disponibles en Hugging Face.
En cuanto al soporte multimodal, Clef anteriormente soportaba texto, imágenes y imágenes continuas extraídas de videos (se extraen los videos en tiempo real para convertirlas en imágenes estáticas, y luego se entregan estas imágenes en orden como entrada al modelo). Por su parte, Clef-omni ha añadido entrada de audio y video completo, soportando formatos wav, mp3, mp4 y webm.
Cloudflare indica que los desarrolladores no necesitan construir por separado un proceso de transcripción de voz y división de audio y video, ya que pueden utilizar un modelo para manejar varios tipos de entradas.
Cloudflare afirma que Clef-omni está construido sobre Qwen3-Omni-30B-A3B-Instruct y conserva su capacidad principal de comprensión. El modelo está diseñado para tareas de toma de decisiones estructuradas y no genera salidas de texto habituales. En los tests publicados por la empresa, el tiempo de respuesta para solicitudes de texto puro es de aproximadamente 130 milisegundos, para imágenes alrededor de 150 milisegundos; para un video con sonido de 21 segundos, la calificación se completa en aproximadamente 1.5 segundos.
| Prueba de referencia | Clef-omni | Clef | Clef-flash | Jev |
|---|---|---|---|---|
| BFCL: Tasa de coincidencia exacta | 98.2 | 98.47 | 98.76 | 95.75 |
| ToolRet：nDCG@10 | 66.6 | 69.19 | 66.43 | 65.28 |
| API-Bank: precisión | 92.7 | 91.93 | 93.11 | 88.19 |
| Eletrodomésticos: Tasa de coincidencia exacta | 69.3 | 82.95 | 97.73 | 52.27 |
| When2Call: precisión | 63.3 | 72.37 | 65.58 | 80.97 |
| BANKING77: Promedio de macro F1 | 94.8 | 94.20 | 90.93 | 79.74 |
| CLINC150+OOS: Promedio de macro F1 | 97.7 | 97.43 | 66.77 | 89.27 |
| BRIGHT：nDCG@10 | 42.0 | 45.91 | 39.26 | 47.52 |
| Amazon ESCI: promedio macro F1 | 57.8 | 57.48 | 57.39 | 55.21 |
| PhishNChips: precisión | 73.2 | 79.60 | 75.05 | 62.55 |
Cloudflare también redujo el precio del token de entrada por millón de Clef-flash de 0.09 dólares (según IT Home: en el tipo de cambio actual, esto equivale a aproximadamente 0.6 yuanes) a 0.038 dólares (en el tipo de cambio actual, esto equivale a aproximadamente 0.25 yuanes), lo que representa una reducción del aproximado 58%. La ventana de contexto de la versión gestionada de Clef-flash se redujo de 64k a 24k.
| Modelo | Ingrese el precio | Mostrar precio |
|---|---|---|
| Clef-flash | 0.038 dólares por millón de tokens (aproximadamente 0.25 yuanes al tipo de cambio actual) | 0.12 dólares por millón de tokens (aproximadamente 0.8 yuanes al tipo de cambio actual) |
| Clef | 0.24 dólares por millón de tokens (con el tipo de cambio actual, aproximadamente 1.6 yuanes). | 0.72 dólares por millón de tokens (aproximadamente 4.8 yuanes al tipo de cambio actual) |
| Clef-omni | 0.15 dólares por millón de tokens (aproximadamente 1 yuan al tipo de cambio actual) | 0.60 dólares por millón de tokens (aproximadamente 4 yuanes según el tipo de cambio actual) |