昨年の春に発表された Granite Switch プロジェクトは、モジュール方式のモデル開発へのアプローチを可能にします。今回、 Granite Switch 4.1 モデルは、DecisionアダプターとOpenASRリーダーボード上で最速のASRモデルを備え、自然言語応答、汎用および専門的な意思決定、音声からテキストへの変換タスクの間を、1つのホスト型エンドポイントから効率的に移行できるようになりました。
具体的には、 Granite-Switch-4.1-8B モデルおよび -30B モデルには以下が構成されています:
- 汎用の意思決定向けの新しい Decision aLoRA (例: v1/systemone)、
- 安全性に関連する意思決定タスクにおいて、平均して Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions、Clef-Flash を上回る性能を発揮する特殊な Guardian aLoRA セーフティ関連の意思決定タスクにおいて、平均的に Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions、および Clef-Flash を上回る成果を示し、かつ
- Granite-Speech-5.0-Turbo-CTC。これは OpenASR Leaderboard上で最速のASRモデルであり、文字起こしタスクで使用できるよう組み込まれています。
これら3つの技術(および基盤となるベースモデル)は1つのモデルに統合されており、GPU上で消費するVRAMの容量はベースモデル単体の場合とほぼ同じです。つまり、より少ないGPUでより多くの機能を実現できるということです。
さらに、Switchアダプターはキャッシュ効率の高い Activated LoRAsとして構築されているため、ベースモデルの生成から作成されたKVキャッシュを、その後のアダプターによる意思決定に再利用できます。低ランクアダプターの推論を高速化するためのチームの 最近のvLLMへの貢献 と、同一配置されたASRエンコーダーと相まって、Granite Switch 4.1モデルは、チャット要求、意思決定要求、音声要求の間を 切り替える ことが、超高速で可能です。
ぜひ私たちの Speech-to-Decisions HFスペース granite-switch-4.1-8b が音声を文字起こしし、要約を生成し、有害コンテンツをスクリーニングし、さらにユーザー定義の15のフラグをテストする——これらすべてが単一のエンドポイント上でリアルタイムに実行されます。
Graniteライブラリ:オリジナルの意思決定モデル
意思決定モデルは新しいものではありません。以前のリリースの Granite ライブラリ specializedな「decision model」アダプターや、その他のspecializedなタスクアダプターのリポジトリを備えており、これらを組み合わせてカスタムのGranite Switchモデルを構成できます。また、Jevやその他のクローズドなdecision modelが汎用性に焦点を当てている一方で、specializedなgranitelibアダプターの多くは、specializedな分類タスクにおいてgeneralistモデルを上回るパフォーマンスを発揮できることを私たちは見出しています。
granitelibアダプターを比較する 専門的な分類タスクで評価した場合の汎用意思決定モデルとの比較。
アダプタはベースモデルのKVキャッシュを共有するため、ジェネラリストのdecisionアダプタにスペシャリストを追加しても、コストはほとんどかかりません。ジェネラリストによる幅広いカバーに加え、重要なタスクについてはスペシャリストによってより高い精度が得られます。
Granite-Switch-4.1-30B(凍結されたベースGranite+4つの特殊化aLoRA)とJev-27B(凍結されたベースQwenモデル+1つの汎用判断LoRA)の「レース」において、Granite-Switch-4.1-30Bは、実際の世界での5ステップのRAGワークフローを競合モデルよりもはるかに速く完了することができました。
独自のGraniteスイッチモデルを構成・拡張する
Granite-Switch-4.1-8B および -30B は「電池込み(batteries included)」でリリースされました。これらは、便利なアダプターをあらかじめ定義されたセットとして組み込んだ Granite Switch モデルです。しかし、私たちのバージョンを使う必要はありません。誰でも 独自のGranite Switchモデルを構築するGranite Libraries のアダプターを組み合わせて、それぞれのニーズに最も合った形で利用できるようになります。
今後、コミュニティがカスタムアダプターやサードパーティのアダプターを使って Granite Switch モデルを構成・拡張できる大きな機会があると考えています。アダプターを学習させるための Adapter SDK をリリースする予定です。 Mellea、他のチュートリアルや Granite Switch のサポートと併せて提供されます。これらのアダプターは、意思決定ベースのワークフローを補強する専門特化した分類アダプターや、特定の言語タスク向けのアダプターにもなり得ます。さらに、カスタムアダプターを使って、3B パラメータ版の Granite に名作ゲーム Doom をプレイさせることもできます。
Jevと同様に、私たちのカスタム3BパラメータのGranite Switchモデルは、Doomのゲームをナビゲートするために瞬時の判断を下しましたが、その速度は 毎秒60〜100の判断、 Jevの報告されている毎秒10の判断と比較してです。1 Jevとは異なり、このGranite Switchモデルはプレイ中にナレーションを行い、質問に答えることもできます。
今後数週間以内にGranite Switchに関する詳細やデータをさらに公開する予定です。それまでの間、最新のSwitchモデルや、始めるのに役立つ以下のリソースをぜひ試してみてください。どこからでもアクセス可能
8bおよび30bサイズで提供されるGranite Switch 4.1は、ワークロードが動作する場所であればどこでも実行できます。このモデルはプラグイン付きのvllmで動作し(以下のGranite Switchリポジトリを参照)、 llama.cpp およびその下流のプラットフォームでネイティブ推論をサポートしているため、使用されている場所ならどこでも /v1/systemone API呼び出しにシームレスに置き換えて使用でき、従来のチャット呼び出しにも対応し、すべて共有プレフィックスキャッシュで処理されます。
はじめるためのリソース
- Granite Switch 4.1 モデルカード
- Speech-to-Decisions デモ
- Granite Switch GitHub リポジトリ
- オリジナルのGranite SwitchおよびGraniteライブラリ リリースブログ
- で独自のaLoRA vs LoRAレースを作成する Colab.
脚注
1 https://typesafe.ai/blog/introducing-system-one-models-and-jev