Cloudflare a publié Clef-omni, un nouveau membre à poids ouverts de sa famille de modèles de décision Clef. Clef-omni est un modèle de décision Cloudflare qui évalue du texte, des images, de l'audio et de la vidéo en 1 appel. Il est arrivé le 9 octobre 2026, 8 jours après le lancement original de Clef et Clef-flash. La même mise à jour a réduit le prix de Clef-flash en dessous de Jev de TypeSafe et rendu Clef hébergé environ 2x plus rapide. Pour les développeurs, cela supprime les étapes de transcription et de sous-titrage dont les pipelines d'agents multimodaux ont généralement besoin.
TL;DR
- Taille : 30B au total, 3B de paramètres actifs (MoE) ; contexte de 64,000 tokens sur Workers AI
- Fonctionne sur : Workers AI en tant que
@cf/cloudflare/clef-omni; auto-hébergement testé sur un seul H200, environ 64 Go de mémoire GPU en bfloat16 - Performances : Proche de Clef sur les tâches de routage et d'intention, derrière lui sur la plupart des évaluations de raisonnement et de workflow
- Meilleur : 97.7 macro-F1 sur CLINC150+OOS, en tête des 4 modèles Clef et Jev
- Pire : 2.6 de précision sur POP909-CL, et 47.4 sur GPQA Diamond contre 78.3 pour Jev
- En résumé :
- Meilleur : un seul appel décide à travers 4 modalités.
- Pire : précision plus faible que Clef, axé sur le texte, sur le raisonnement difficile.
Qu'est-ce qu'un modèle de décision ?
Un modèle de décision renvoie des réponses typées avec des probabilités au lieu de texte généré. Vous envoyez un state et un schéma de questions. Le modèle renvoie une probabilité pour chaque option autorisée. Clef prend en charge 3 types de questions: noul (vrai ou faux), choice et score. Le format suit l'API Jev et SystemOne de TypeSafe AI.
Comment fonctionne Clef-omni ?
Clef-omni est post-entraîné à partir de Qwen3-Omni-30B-A3B-Instruct. Cloudflare conserve le backbone de compréhension et supprime le chemin de sortie de synthèse vocale. Le modèle exécute une seule passe de préfill sur l'ensemble de la charge. Les images vidéo et l'audio sont synchronisés en 1 séquence pour un traitement conjoint.
Une petite tête de schéma conjoint note ensuite les options. Chaque option valide recueille d'abord des preuves à partir de l'entrée. Les vecteurs de champs font ensuite de la cross-attention sur l'ensemble du contexte pour calculer des scores de confiance. Cloudflare a gelé le backbone Qwen3 et entraîné des adaptateurs LoRA. L'entraînement a combiné une entropie croisée avec lissage d'étiquettes et une calibration par score de Brier.
Entrées prises en charge sur Workers AI, selon la documentation développeur:
- Images : jusqu'à 4, en PNG, JPEG ou WebP, 64 à 1,024 tokens chacune
- Audio : jusqu'à 4 clips, en WAV ou MP3, 300 secondes chacun, soit environ 780 tokens par minute
- Vidéo : jusqu'à 2 clips, en MP4 ou WebM, 60 secondes chacun, échantillonné à 2 images par seconde
- Questions : 1 à 64 par requête
Cloudflare rapporte des décisions textuelles en environ 130 ms à la médiane et des images en environ 150 ms. Une vidéo de 21 secondes avec le son est notée en environ 1.5 seconde.
Comment Clef-omni se comporte-t-il sur les benchmarks ?
Cloudflare a comparé Clef-omni à Clef, Clef-flash et Jev lors de son Decision Index Clef-omni domine la classification d'intention : 94.8 macro-F1 sur BANKING77 et 97.7 sur CLINC150+OOS. Il arrive également en tête sur Amazon ESCI à 57.8.
Il est en retrait ailleurs. La précision case-exacte sur les appareils électroménagers est de 69.3, contre 97.73 pour Clef-flash. La précision When2Call est de 63.3, contre 80.97 pour Jev. Sur les évaluations de workflow de TypeSafe, Clef-omni obtient des scores inférieurs à Clef sur les 5 métriques rapportées.
Clef-omni vs Clef vs Clef-flash vs Jev
| Caractéristique | Clef-omni | Clef | Clef-flash | Jev |
|---|---|---|---|---|
| Développeur | Cloudflare | Cloudflare | Cloudflare | TypeSafe AI |
| Paramètres | 30B au total, 3B actifs (MoE) | 27B dense | 9B dense | Non divulgué |
| Modèle de base | Qwen3-Omni-30B-A3B-Instruct | Qwen3.8-27B | Qwen3.5-9B | Non divulgué |
| Entrées | Texte, image, audio, vidéo | Texte, image, images de vidéo | Texte, image, images de vidéo | Texte (selon Cloudflare) |
| Contexte hébergé | 64,000 tokens | 64k | 24k (256k en auto-hébergement) | Non divulgué par TypeSafe (Cloudflare indique 32k) |
| Prix d'entrée par million de tokens | $0.15 | $0.24 | $0.038 | $0.042 |
| Licence | Apache-2.0 | Apache-2.0 | Apache-2.0 | API uniquement, accès anticipé |
| BANKING77 (macro-F1) | 94.8 | 94.20 | 90.93 | 79.74 |
| CLINC150+OOS (macro-F1) | 97.7 | 97.43 | 66.77 | 89.27 |
| When2Call (précision) | 63.3 | 72.37 | 65.58 | 80.97 |
| BRIGHT (nDCG@10) | 42.0 | 45.91 | 39.26 | 47.52 |
| Traitement de factures, action principale | 82.0 | 86.2 | 73.3 | 83.1 |
Les scores des benchmarks proviennent de l’annonce de Cloudflare et n’ont pas été vérifiés de manière indépendante.
Quelle est la vitesse de Clef ?
Cloudflare a migré Clef hébergé vers SGLang et a optimisé sa pile de service. Aucun nouveau poids n'a été publié. La latence médiane est passée de 262 ms à 152 ms à environ 800 tokens, soit un gain de 1.7x. À environ 3,400 tokens, elle est passée de 616 ms à 305 ms, soit un gain de 2.0x. À environ 16,000 tokens, elle est tombée de 2,721 ms à 1,635 ms. Le support de Clef arrive dans SGLang 0.5.22.
Points clés
- Clef-omni évalue le texte, les images, l’audio et la vidéo en 1 appel de décision.
- C’est un MoE 30B-A3B basé sur Qwen3-Omni, Apache-2.0, à 0,15 $ par million de tokens.
- Clef-flash coûte désormais 0,038 $, sous les 0,042 $ de Jev, avec un contexte hébergé de 24k.
- Clef hébergé est 1,7x à 2,0x plus rapide à la médiane après la migration vers SGLang.
- Clef-omni remporte les tâches d’intention mais reste derrière Clef sur les évaluations de raisonnement et de workflow.
Découvrez l’annonce Cloudflare, les poids du modèle et la documentation Workers AI. Tout le mérite revient au chercheur de ce projet. N’hésitez pas également à nous suivre sur Twitter et n’oubliez pas de rejoindre notre 150k+ML SubReddit et de vous abonner à notre Newsletter. Attendez ! Êtes-vous sur telegram ? vous pouvez désormais nous rejoindre sur telegram également.
L’article Voici Cloudflare Clef-omni : un modèle de décision multimodal 30B-A3B pour l'audio, la vidéo, l'image et le texte est applu pour la première fois sur MarkTechPost.