IT之家 – Le 10 octobre, Cloudflare a publié hier (9 octobre) un rapport indiquant que elle a lancé le modèle de décision de poids ouvert Clef-omni, permettant de traiter des textes, des images, des audio et des vidéos avec une seule appel API.
En termes de localisation, ce modèle s’appuie sur les modèles précédents de la série Clef, et prend en charge l’entrée multimodale. Les poids du modèle ont été mis à disposition sur Hugging Face.
En ce qui concerne le support multimodal, Clef précédent permettait de traiter des textes, des images et des images continues extraites d’un vidéo (le vidéo est divisé en images statiques selon le temps, et ces images sont ensuite transmises au modèle dans l’ordre donné). Clef-omni ajoute une entrée audio et une entrée de vidéo complète, supportant les formats wav, mp3, mp4 et webm.
Cloudflare indique que les développeurs n’ont pas besoin de mettre en place un processus distinct de transcription vocale et de séparation audio/vidéo ; ils peuvent utiliser un seul modèle pour traiter différentes entrées.
Cloudflare indique que Clef-omni est construit sur Qwen3-Omni-30B-A3B-Instruct et conserve sa capacité principale de compréhension. Le modèle est destiné à des tâches de décision structurées, sans générer de sorties textuelles ordinaires. Dans les tests publiés par l’entreprise, le temps de réponse pour les requêtes de texte pur est d’environ 130 millisecondes, pour les images environ 150 millisecondes ; pour un vidéo audio de 21 secondes, la notation est effectuée en environ 1,5 seconde.
| Test de référence | Clef-omni | Clef | Clef-flash | Jev |
|---|---|---|---|---|
| BFCL : Taux de correspondance exacte | 98.2 | 98.47 | 98.76 | 95.75 |
| ToolRet：nDCG@10 | 66.6 | 69.19 | 66.43 | 65.28 |
| API-Bank : précision | 92.7 | 91.93 | 93.11 | 88.19 |
| Appareils domestiques : taux de correspondance exacte | 69.3 | 82.95 | 97.73 | 52.27 |
| When2Call : précision | 63.3 | 72.37 | 65.58 | 80.97 |
| BANKING77 : Moyenne des macros F1 | 94.8 | 94.20 | 90.93 | 79.74 |
| CLINC150+OOS : moyenne des macros F1 | 97.7 | 97.43 | 66.77 | 89.27 |
| BRIGHT : nDCG@10 | 42.0 | 45.91 | 39.26 | 47.52 |
| Amazon ESCI : moyenne macro F1 | 57.8 | 57.48 | 57.39 | 55.21 |
| PhishNChips : précision | 73.2 | 79.60 | 75.05 | 62.55 |
Cloudflare va également réduire le prix des tokens d’entrée par million de Clef-flash de 0,09 dollars (noté par IT Home : environ 0,6 yuan en taux de change actuel) à 0,038 dollars (environ 0,25 yuan en taux de change actuel), soit une diminution d’environ 58 %. La fenêtre de contexte hébergée par Clef-flash sera réduite de 64k à 24k.
| Modèle | Entrée de prix | Sortie prix |
|---|---|---|
| Clef-flash | 0,038 dollar par million de tokens (en fonction du taux de change actuel, environ 0,25 yuan) | 0,12 dollars par million de tokens (en équivalent monétaire actuel, environ 0,8 yuans) |
| Clef | Chaque million de tokens coûte 0,24 dollar (environ 1,6 yuan selon le taux de change actuel) | Chaque million de tokens coûte 0,72 dollar américain (environ 4,8 yuan selon le taux de change actuel) |
| Clef-omni | Chaque million de tokens coûte 0,15 dollar (environ 1 yuan selon le taux de change actuel) | Chaque million de tokens coûte 0,60 dollar américain (environ 4 yuan selon le taux de change actuel) |