IT之家 – Bericht vom 10. Oktober: Cloudflare gab gestern (9. Oktober) eine Ankündigung ab, dass das offene Gewicht-Entscheidungsmodell Clef-omni eingeführt wird, um Text, Bilder, Audio und Video mit einer einzigen API-Anfrage zu verarbeiten.
In Bezug auf die Positionierung: Dieses Modell basiert auf den zuvor existierenden Modellen der Clef-Serie und bietet eine erweiterte Unterstützung für mehrdimensionale Eingaben. Die Gewichtungswerte des Modells sind nun auf Hugging Face verfügbar.
Im Bereich der Multimodal-Unterstützung unterstützt Clef bisher Texte, Bilder und kontinuierliche Bilder, die aus Videos extrahiert werden (die Videos werden zeitlich in statische Bilder umgewandelt und diese Bilder werden dann in der Reihenfolge als Eingabe an das Modell übermittelt). Clef-omni fügt Audio- und vollständige Video-Eingaben hinzu und unterstützt Formate wie wav, mp3, mp4 und webm.
Cloudflare sagt, dass Entwickler keine separate Prozessstrecke für Sprachübersetzung und Audio-Video-Trennung aufbauen müssen, sondern einen Modell verwenden können, um verschiedene Eingaben zu behandeln.
Cloudflare erklärt, dass Clef-omni auf Qwen3-Omni-30B-A3B-Instruct basiert und seine Hauptverständnisfähigkeit beibehält. Das Modell ist für strukturierte Entscheidungsaufgaben ausgelegt und erzeugt keine reguläre Textausgabe. In den von der Firma veröffentlichten Tests betrug die Antwortzeit für reinen Textanfragen etwa 130 Millisekunden, für Bilder etwa 150 Millisekunden; für ein 21-Sekunden-Lied mit Ton dauerte die Bewertung etwa 1,5 Sekunden.
| Referenztest | Clef-omni | Clef | Clef-flash | Jev |
|---|---|---|---|---|
| BFCL: Präzise Übereinstimmungsrate | 98.2 | 98.47 | 98.76 | 95.75 |
| ToolRet：nDCG@10 | 66.6 | 69.19 | 66.43 | 65.28 |
| API-Bank: Genauigkeit | 92.7 | 91.93 | 93.11 | 88.19 |
| Haushaltsgeräte: Genauigkeit des Passungsverhältnisses | 69.3 | 82.95 | 97.73 | 52.27 |
| When2Call: Genauigkeit | 63.3 | 72.37 | 65.58 | 80.97 |
| BANKING77：Macro-Mittelwert F1 | 94.8 | 94.20 | 90.93 | 79.74 |
| CLINC150+OOS: Durchschnittliche F1-Wert der Makros | 97.7 | 97.43 | 66.77 | 89.27 |
| BRIGHT：nDCG@10 | 42.0 | 45.91 | 39.26 | 47.52 |
| Amazon ESCI: Macro- Durchschnitt F1 | 57.8 | 57.48 | 57.39 | 55.21 |
| PhishNChips: Genauigkeit | 73.2 | 79.60 | 75.05 | 62.55 |
Cloudflare senkt außerdem den Preis für jedes Millionen-Input-Token von 0,09 US-Dollar (IT-Haushaltsnotiz: aktueller Wechselkurs etwa 0,6 Renminbi) auf 0,038 US-Dollar (aktueller Wechselkurs etwa 0,25 Renminbi), eine Reduzierung von etwa 58%. Die Synchronisierung des Kontextfensters für die Hosted-Version von Clef-flash wird von 64k auf 24k reduziert.
| Modell | Eingabe des Preises | Preis ausgeben |
|---|---|---|
| Clef-flash | 0,038 US-Dollar pro Millionen Tokens (entsprechend etwa 0,25 Renminbi bei aktuellem Wechselkurs) | 0,12 US-Dollar pro Million Tokens (im aktuellen Wechselkurs etwa 0,8 RMB) |
| Clef | 0,24 US-Dollar pro Million Tokens (entsprechend etwa 1,6 Renminbi nach aktuellem Wechselkurs) | Pro Million Tokens: 0,72 US-Dollar (im aktuellen Wechselkurs etwa 4,8 Yuan) |
| Clef-omni | 0,15 US-Dollar pro Million Tokens (im aktuellen Wechselkurs etwa 1 Renminbi) | Pro Million Tokens: 0,60 US-Dollar (im aktuellen Wechselkurs etwa 4 Renminbi) |