IT之家 AI

Cloudflareは、オープンウェイト決定AIモデルClef-omniを発表し、音声/ビデオ入力のサポートが新たに追加されました

IT之家 10月10日のニュースによると、Cloudflareは昨日(10月9日)に、テキスト、画像、音声、ビデオなどを一度のAPI呼び出しで処理できる、オープンウェイト決定モデルClef-omniを発表した。位置づけについては、このモデルは以前のClefシリーズモデルの基盤の上に、マルチモーダル入力をサポートする機能が拡張され、モデルのウェイトはHugging Faceで公開されている…

画像の出典 · IT之家 AI

IT之家 10月10日の報道によると、Cloudflareは昨日(10月9日)に、オープンウェイト決定モデルClef-omniを発表し、一度のAPI呼び出しでテキスト、画像、音声、ビデオなどを処理できるようにする。

位置情報に関しては、このモデルは以前のClefシリーズモデルの基盤の上に構築されており、多様な入力形式へのサポートが拡張され、モデルの重みはHugging Faceで公開されています。

多モーメント対応については、以前のClefはテキストや画像、動画から抽出された連続画面(動画を時間ごとに静止画に分割し、これらの画像を順番にモデルに入力する)をサポートしていたが、Clef-omniでは音声と完全な動画入力が追加され、wav、mp3、mp4、webm形式をサポートしている。

Cloudflareによると、開発者は別途音声転写や音声・映像の分割処理を構築する必要はなく、1つのモデルで多様な入力を処理できるという。

Cloudflareによると、Clef-omniはQwen3-Omni-30B-A3B-Instructを基に構築されており、主要な理解能力を保持しているという。このモデルは構造化された意思決定タスクに特化しており、通常のテキスト出力を生成することはない。会社が公表したテストでは、純粋なテキストのリクエストに対する応答時間は約130ミリ秒、画像については約150ミリ秒であり、音声付きの21秒間のビデオの評価には約1.5秒かかった。

ベーステストクレフ・オムニクレフクレフ・フラッシュジェヴ
BFCL:正確な一致率98.298.4798.7695.75
ToolRet:nDCG@1066.669.1966.4365.28
API-Bank:正確率92.791.9393.1188.19
家電製品:正確な一致率69.382.9597.7352.27
When2Call:正確率63.372.3765.5880.97
BANKING77:宏平均 F194.894.2090.9379.74
CLINC150+OOS:宏平均 F197.797.4366.7789.27
BRIGHT:nDCG@1042.045.9139.2647.52
Amazon ESCI:マクロ平均 F157.857.4857.3955.21
PhishNChips:正確率73.279.6075.0562.55

Cloudflare は、Clef-flash の百万トークンあたりの価格を0.09ドル(IT之家注:現在の為替レートで約0.6元)から0.038ドル(現在の為替レートで約0.25元)に下げ、約58%の減少となりました。Clef-flashのホスティング版のコンテキストウィンドウ同期は64kから24kに縮小されました。

モデル価格を入力する価格を出力する
クレフ・フラッシュ百万トークンあたり 0.038ドル(現在の為替レートで約 0.25元)百万トークンあたり 0.12ドル(現在の為替レートで約0.8人民元)
クレフ百万トークンあたり 0.24ドル(現在の為替レートで約1.6元)百万トークンあたり 0.72ドル(現在の為替レートで約4.8元)
クレフ・オムニ百万トークンあたり 0.15米ドル(現在の為替レートで約1人民元)百万トークンあたり 0.60ドル(現在の為替レートで約4元)
原文の出典

IT之家 AI

内容について

原文の公開と権利は出典元に帰属します。

機械翻訳 · 原文をご参照ください