Cloudflare hat Clef-omni, ein neues Open-Weight-Mitglied seiner Clef-Entscheidungsmodellfamilie. Clef-omni ist ein Cloudflare-Entscheidungsmodell, das Text, Bilder, Audio und Video in 1 Aufruf bewertet. Es wurde am 9. Oktober 2026 veröffentlicht, 8 Tage nach dem ursprüngliche Clef- und Clef-flash-Einführung. Dasselbe Update senkte die Preise für Clef-flash unter Jev von TypeSafe und machte das gehostete Clef ungefähr 2x schneller. Für Entwickler entfällt damit der Transkriptions- und Untertitelungsschritt, den multimodale Agent-Pipelines normalerweise benötigen.
Kurzfassung
- Größe: 30B Parameter insgesamt, 3B aktive Parameter (MoE); 64.000-Token-Kontext auf Workers AI
- Läuft auf: Workers AI als
@cf/cloudflare/clef-omni; Self-Hosting getestet auf einer einzelnen H200, etwa 64 GB GPU-Speicher in bfloat16 - Leistung: Auf Routing- und Intent-Aufgaben nahe an Clef, bei den meisten Reasoning- und Workflow-Bewertungen dahinter
- Beste: 97.7 macro-F1 auf CLINC150+OOS, Spitzenplatz unter den 4 Clef- und Jev-Modellen
- Schlimmster: 2.6 Genauigkeit auf POP909-CL und 47.4 auf GPQA Diamond im Vergleich zu Jevs 78.3
- Fazit:
- Bestens: Ein einziger Anruf entscheidet über 4 Modalitäten.
- Schlechtester Punkt: schwächere Genauigkeit als das textfokussierte Clef bei anspruchsvollen Denkaufgaben.
Was ist ein Entscheidungsmodell?
Ein Entscheidungsmodell gibt typisierte Antworten mit Wahrscheinlichkeiten zurück, anstatt generierten Text zu erzeugen. Sie senden ein state und einem Fragen-Schema. Das Modell gibt für jede erlaubte Option eine Wahrscheinlichkeit zurück. Clef unterstützt 3 Fragetypen: noul (wahr oder falsch), choice und score. Das Format folgt der Jev- und SystemOne-API von TypeSafe AI.
Wie funktioniert Clef-omni?
Clef-omni ist nachtrainiert aus Qwen3-Omni-30B-A3B-Instruct. Cloudflare behält den Comprehension-Backbone bei und entfernt den Text-zu-Sprache-Ausgabepfad. Das Modell führt einen einzelnen Prefill-Durchlauf über die gesamte Nutzlast aus. Videobilder und Audio werden in 1 Sequenz für die gemeinsame Verarbeitung synchronisiert.
Ein kleiner gemeinsamer Schema-Head bewertet dann die Optionen. Jede gültige Option sammelt zunächst Belege aus der Eingabe. Feldvektoren durchqueren anschließend per Cross-Attention den gesamten Kontext, um Konfidenzwerte zu berechnen. Cloudflare frierte den Qwen3-Backbone ein und trainierte LoRA-Adapter. Das Training kombinierte label-geglättete Cross-Entropy mit Brier-Score-Kalibrierung.
Unterstützte Eingaben auf Workers AI, laut der Entwicklerdokumentation:
- Bilder: bis zu 4, PNG, JPEG oder WebP, jeweils 64 bis 1,024 Tokens
- Audio: bis zu 4 Clips, WAV oder MP3, jeweils 300 Sekunden, etwa 780 Tokens pro Minute
- Video: bis zu 2 Clips, MP4 oder WebM, jeweils 60 Sekunden, abgetastet mit 2 Bildern pro Sekunde
- Fragen: 1 bis 64 pro Anfrage
Cloudflare berichtet von Textentscheidungen in etwa 130 ms im Median und Bildern in etwa 150 ms. Ein 21-Sekunden-Video mit Ton wird in etwa 1.5 Sekunden bewertet.
Wie schlägt sich Clef-omni bei Benchmarks?
Cloudflare verglich Clef-omni mit Clef, Clef-flash und Jev bei seinem Decision Index -Lauf. Clef-omni führt bei der Intent-Klassifikation: 94.8 macro-F1 auf BANKING77 und 97.7 auf CLINC150+OOS. Es liegt auch bei Amazon ESCI vorn mit 57.8.
Andernorts liegt es zurück. Die case-exact-Genauigkeit bei Haushaltsgeräten beträgt 69.3, gegenüber 97.73 bei Clef-flash. Die When2Call-Genauigkeit beträgt 63.3, gegenüber 80.97 bei Jev. Bei TypeSafes Workflow-Evalsliegt Clef-omni bei allen 5 berichteten Metriken unter Clef.
Clef-omni vs Clef vs Clef-flash vs Jev
| Merkmal | Clef-omni | Clef | Clef-flash | Jev |
|---|---|---|---|---|
| Entwickler | Cloudflare | Cloudflare | Cloudflare | TypeSafe AI |
| Parameter | 30B gesamt, 3B aktiv (MoE) | 27B dense | 9B dense | Nicht offengelegt |
| Basismodell | Qwen3-Omni-30B-A3B-Instruct | Qwen3.8-27B | Qwen3.5-9B | Nicht offengelegt |
| Eingaben | Text, Bild, Audio, Video | Text, Bild, Videobilder | Text, Bild, Videobilder | Text (laut Cloudflare) |
| Gehosteter Kontext | 64,000 Tokens | 64k | 24k (256k selbst gehostet) | Von TypeSafe nicht offengelegt (Cloudflare nennt 32k) |
| Eingabepreis pro M Tokens | $0.15 | $0.24 | $0.038 | $0.042 |
| Lizenz | Apache-2.0 | Apache-2.0 | Apache-2.0 | Nur API, Early Access |
| BANKING77 (macro-F1) | 94.8 | 94.20 | 90.93 | 79.74 |
| CLINC150+OOS (macro-F1) | 97.7 | 97.43 | 66.77 | 89.27 |
| When2Call (Genauigkeit) | 63.3 | 72.37 | 65.58 | 80.97 |
| BRIGHT (nDCG@10) | 42.0 | 45.91 | 39.26 | 47.52 |
| Rechnungsverarbeitung, primäre Aktion | 82.0 | 86.2 | 73.3 | 83.1 |
Die Benchmark-Werte stammen aus Cloudflares Ankündigung und wurden nicht unabhängig überprüft.
Wie viel schneller ist Clef?
Cloudflare hat das gehostete Clef auf SGLang und optimierte seinen Serving-Stack. Es wurden keine neuen Modellgewichte veröffentlicht. Die Median-Latenz sank bei etwa 800 Token von 262 ms auf 152 ms, ein 1.7x-Gewinn. Bei etwa 3,400 Token sank sie von 616 ms auf 305 ms, ein 2.0x-Gewinn. Bei etwa 16,000 Token fiel sie von 2,721 ms auf 1,635 ms. Die Clef-Unterstützung kommt in SGLang 0.5.22.
Wichtigste Erkenntnisse
- Clef-omni bewertet Text, Bilder, Audio und Video in 1 Entscheidungsaufruf.
- Es ist ein 30B-A3B MoE auf Basis von Qwen3-Omni, Apache-2.0, zu $0.15 pro Million Token.
- Clef-flash kostet jetzt $0.038 und liegt damit unter Jevs $0.042, mit 24k gehostetem Kontext.
- Das gehostete Clef ist im Median nach der Umstellung auf SGLang 1,7x bis 2,0x schneller.
- Clef-omni gewinnt Intent-Aufgaben, liegt aber bei Reasoning- und Workflow-Bewertungen hinter Clef zurück.
Schauen Sie sich die Cloudflare-Ankündigung, Modellgewichte und die Workers AI docsan. Ganzer Dank gilt dem Forscher dieses Projekts. Folgen Sie uns außerdem gerne auf Twitter und vergessen Sie nicht, unserem 150k+ML SubReddit beizutreten und unseren Newsletterzu abonnieren. Moment! Sind Sie auf Telegram? jetzt können Sie uns auch auf Telegram beitreten.
Der Beitrag Cloudflare Clef-omni vorgestellt: Ein 30B-A3B multimodales Entscheidungsmodell für Audio, Video, Bild und Text zuerst erschienen auf MarkTechPost.