IT之家 AI

三項bonsai 2シリーズAIモデル登場:Apple iPhone 18 Pro Maxでローカルでの処理速度は毎秒120個の語成分

IT之家 10月16日の報道によると、AI企業PrismMLは昨日(10月15日)にブログを公開し、Ternary Bonsai 2シリーズモデルを発表した。これには2B、4B、9Bの3種類があり、スマートフォン、PC、ウェアラブルデバイス上でローカルにAIスマートアプリを実行し、推論、画像認識、ツール呼び出しなどの機能を提供することを目指している。Ternary Bonsai 2シリーズモデルはアリのQwen…

画像の出典 · IT之家 AI

IT之家 10月16日の報道によると、AI企業PrismMLは昨日(10月15日)にブログ投稿を発表し、Ternary Bonsai 2シリーズモデルを発表した。これには2B、4B、9Bの3種類があり、スマートフォン、PC、ウェアラブルデバイス上でローカルにAIアインセットを実行し、推論、画像認識、ツール呼び出しなどの機能を提供することを目指している。

三元盆景2シリーズモデルはアリのQwen 3.5ベースを基に構築されており、「三元」重み表現法を採用している。つまり、モデルパラメータは-1、0、+1の3つの数値のみでコーディングされる。公式によると、2B、4B、9Bモデルのストレージ使用量はそれぞれ約0.43GB、0.95GB、2GBである。

能力面において、Bonsai 2シリーズはローカルスマートアプリの実用性を強調している。指示に従うこと、日常的なタスクを完了すること、モバイルデバイス上でツールを呼び出すこと、重複した出力を避けることなどである。公式には、スマートツールの呼び出し、数学、指示の遵守、プログラミング、知識と推論、視覚理解の6つの能力について19項目の基準でテストされた。その中で9Bモデルは、標準的な指示実行や日常的な数学タスクにおいて、必要なtoken数が約40%減少した。

性能に関しては、PrismMLの表示によると、RTX 4090やM5 Proなどのハードウェアにおいて、新しいモデルは対応する全精度モデルに比べて、最大5倍のスループットと3倍のエネルギー効率を実現できる。iPhone 18 Pro Maxにおいては、9Bモデルでは最大で1秒あたり34個の語元、2Bモデルでは最大で1秒あたり120個の語元が処理可能である。IT之家では関連するスクリーンショットを以下の通り掲載している:

このシリーズは、既存のBonsai 2 27Bと組み合わせて、軽量タスクから複雑なワークフローまでの完全な製品ラインを構成できます。開発者はllama.cppを使ってNVIDIA GPU上で実行することができ、またMLXを使ってMac、iPhone、およびiPad上でデプロイすることも可能です。モデルの重みはApache 2.0ライセンスで公開されています。

原文の出典

IT之家 AI

内容について

原文の公開と権利は出典元に帰属します。

機械翻訳 · 原文をご参照ください