Liquid AIはつい先ほど Liquid RIPLを発表しましたRIPLはReal-time Inference Pipelineの略です。RIPLは、ライブのリクエストパス内でLiquid Foundation Models(LFM)を提供する低レイテンシエンジンです。生成された応答を完全な形でエンドツーエンドで50 ms未満で返します。さらに、ピーク負荷時にトラフィックが継続的に到着してもレイテンシは維持されると主張しています。開発者にとって、メッセージはシンプルです。勾配ブースト木を生成モデルに置き換えても、レイテンシ予算は維持できます。
要約
- エンジン: 230Mから2.6BパラメータのLFM2.5モデルを提供
- 動作環境: NVIDIA H100、H200、B200 および RTX PRO 6000 GPU 上でのエンタープライズ展開。ベンチマークは単体の B200 を使用して実施されました。
- パフォーマンス: Liquid自身のテストによると、vLLM上でQwen3.5と比較してp95レイテンシが5.6〜28.4倍低い。
- ベスト: LFM2.5-1.2Bはp95で155.8 msを記録したのに対し、Qwen3.5-0.8Bは4,431 msで、28.4倍の差となりました(入力256トークン、出力128トークン)。
- 最悪： LFM2.5-2.6Bはわずか5.6倍(449.1 ms 対 2,499 ms)の向上にとどまった。50 ms 未満では長いリクエストに失敗する。
Liquid RIPLはどのような問題を解決するのでしょうか?
多くの本番用サービングスタックは大きなバッチや長時間のエージェントジョブを想定しており、リクエストあたり数秒の遅延はそこでは許容されます。しかし検索ランキング、不正検知、決済オーソリゼーションでは、ミリ秒単位での回答が必要です。Liquid AIは、LLMのサービングが遅すぎるために、こうした処理経路で従来型モデルが既定の選択になっていると主張しています。RIPLは、そのトレードオフを取り除くために構築されました。
RIPLはどのように動作するのか?
Liquid AIは、RIPLをリクエストの到着から応答の完了までの経路全体を最適化するものと説明しています。いくつかのワークロードにおいて、Liquid AIは同じモデルLFM2.5-350MをvLLM上とRIPL上で比較したグラフを示しています。いずれの場合も、RIPLのp95のラインはvLLMのラインを大きく下回っています。これは、利得の一部がモデルアーキテクチャではなくエンジンによるものであることを示しています。
この LFM2.5モデル 自体はハイブリッド構成です。LFM2.5-1.2B-Instructは16層で構成され、そのうち10層がダブルゲート畳み込みブロック、6層がGQAブロックです。 LFM2.5-2.6B は30層で構成され、そのうち22層が畳み込みブロック、8層がGQAブロックです。
RIPLベンチマーク:vLLMと比べてどれほど速いか?
Liquidは、1基のB200上でオープンループのポアソン到着条件下におけるp95エンドツーエンドレイテンシを測定しました。LFMはRIPL上で実行されました。MiniCPM5やGranite 4.2を含むベースラインはvLLM上で実行されました。
| ワークロード | 負荷 | RIPL上のLFM2.5(p95) | vLLM上のQwen3.5(p95) | 格差 |
|---|---|---|---|---|
| 1Bクラス、32入力 → 32出力 | 1,000 req/s | 34.6 ms (1.2B) | 498 ms (0.8B) | 14.4x |
| 1Bクラス、256入力 → 128出力 | 400 req/s | 155.8 ms (1.2B) | 4,431 ms (0.8B) | 28.4x |
| 2Bクラス、32入力 → 32出力 | 1,000 req/s | 76.4 ms (2.6B) | 586.8 ms (2B) | 7.7倍 |
| 2Bクラス、256入力 → 128出力 | 300 req/s | 449.1 ms (2.6B) | 2,499 ms (2B) | 5.6倍 |
出典: Liquid AI ブログ、Figure 2。自己申告値。
Liquid AI はまた、6つのリアルタイムワークロードを固定予算と照らし合わせて検証した:
- Adtech クエリ書き換え: 32入力、32出力、50 ms 予算、LFM2.5-350M。
- 検索意図分類: 128入力、1出力、20 ms 予算。
- 検索リランキング: 1k入力、1出力、30 ms 予算。
- 決済リスクスコアリング: 512入力、16出力、50 ms 予算、LFM2.5-1.2B。
- 与信判断: 8k入力、64出力、150 ms 予算。
- 画像代替テキスト: 512×512 画像と 64 トークン入力、16出力、100 ms 予算、 LFM2.5-VL-450M.
競合比較
| 機能 | RIPL 上の LFM2.5-1.2B | vLLM 上の Qwen3.5-0.8B | RIPL 上の LFM2.5-2.6B | vLLM 上の Qwen3.5-2B |
|---|---|---|---|---|
| パラメータ数 | 1.17B | 0.8B | 2.69B | 2B |
| コンテキスト | 32,768 | 262,144 | 131,072 | 262,144 |
| ライセンス（重み） | LFM Open License v1.0 | Apache 2.0 | LFM Open License v1.0 | Apache 2.0 |
| モダリティ | テキスト | テキスト、画像、動画 | テキスト | テキスト、画像、動画 |
| デフォルトモード | Instruct | 非思考 | 常に推論 | 非思考 |
| サービングエンジン | RIPL（エンタープライズ） | vLLM（オープンソース） | RIPL（エンタープライズ） | vLLM（オープンソース） |
| p95、32→32 | 34.6 ms | 498 ms | 76.4 ms | 586.8 ms |
| p95、256→128 | 155.8 ms | 4,431 ms | 449.1 ms | 2,499 ms |
RIPLは本番環境で使われているか？
はい、Liquid AIによると使われています。 Shopify はレイテンシが重要なコマースワークロード全体でLFMを展開しています。検索強化では、LFMは本番トラフィック上で20 ms未満の推論で稼働しています。Liquid AIのブログによると、LFMは代替手段と比較して約50%少ないパラメータを使用し、2〜10倍高速な推論を提供します。
重要なポイント
- RIPLは、ライブのリクエストパス内でLLMを処理するためのLiquid AIのエンジンです。
- Liquidは、vLLM上でQwen3.5と比較してp95レイテンシが5.6倍から28.4倍低いと主張しています。
- 同一モデル（LFM2.5-350M）でのテストでは、RIPL自体がvLLMを上回ることが示されています。
- Shopifyは本番の検索において、LFMsを20 ms未満で実行しています。
- エンタープライズ向けのみで、クローズドであり、すべての数値は自己申告です。
出典はこちら: RIPLの発表、試してみてください レイテンシ計算ツール、そして LFM2.5モデルカード.. 本プロジェクトの研究者に全ての功績があります。また、ぜひ当社をフォローしてください: Twitter そして、私たちの 150k以上のML SubReddit および以下を購読する 当社のニュースレター。待って!Telegramは使っていますか? telegramでもご参加いただけるようになりました。
GitHubリポジトリ、Hugging Faceページ、製品リリース、ウェビナーなどのプロモーションで当社とのパートナーシップをご希望ですか? 私たちとつながる
この投稿 Liquid AI、サブ50ミリ秒のLFM向けリアルタイム推論エンジン「RIPL」を発表 この記事は最初に以下のサイトで公開されました: MarkTechPost.