人工知能端側デプロイ分野で重要な進展が見られる。淘宝傘下のMNNチームが、スマートフォン向けアプリケーション用の軽量大言語モデル――MNN-Pocket-0.3Bをオープンソースとして公開した。このモデルは約3億個のパラメータを持ち、スマートフォンなどの移動機器のリソース制限やタスク要求に合わせて設計されており、非常に少ないメモリ使用量と消費電力で、クラウドに匹敵する高速応答性と優れた総合的なタスク能力を実現している。
極度の軽量化設計：体積がほぼ半減し、ピークメモリは300MB以内を安定して保つ
大規模モデルがモバイルデバイス上で本当に「無感で動作する」ようにするために、淘宝のMNNチームは「携帯アプリ用のネイティブ大規模モデル」を4つの核心設計指標に細分化した：解読トランスピートが200token/sを超え、ピークメモリが300MB以下、1回の推論にかかるエネルギー消費が非常に低く、強力な指示従順性とマルチタスク拡張能力を持つ。
実際の性能において、このモデルは素晴らしい成果を収めました:
驚異のオフライン速度：Apple iPhone18Pro真機でのテストにおいて、MNN推論エンジンを使用して完全にオフラインで動作し、平均デコーディング速度は約350token/sに達した。一方、iPad Pro M5のMetalバックエンドでのテストでは、Prefillのスループットは8,721token/sに達し、Decodeのスループットは466token/sで、これは同条件下のQwen3-0.6Bの1.63倍に相当する。
極小のサイズとメモリ使用量：モデルのINT4MNNのデプロイファイルのサイズはわずか173MBです。iPad Pro M5のテスト設定下では、ピーク時のメモリ増加量は228MBに過ぎません。対照的に、同じテストでのQwen3-0.6Bのデプロイファイルのサイズは340MB、ピーク時のメモリ増加量は427MBであり、MNN-Pocket-0.3Bのデプロイファイルのサイズは約49%減少し、メモリ増加量は約47%減少しました。これにより、スマートフォンシステムの画像、動画、その他のビジネスモジュールに十分な空間が保たれています。
超低消費電力性能：チームは一加13（スローン8至尊版）で4ビットモデルの消費電力をテストしました。基準負荷下で、100回の同等負荷タスクを実行した際の累積増量エネルギー消費は、スマホのバッテリー総容量の約0.3％に過ぎず、ユーザーが懸念していた端末側AIの電力消費と発熱の問題を完全に解消しました。
効率的な語彙構造：中国語インターネット環境により適合するため、チームは約151Kの語彙を64Kに削減し、57%の削減が達成され、語彙埋め込みと出力層のパラメータのコストが効果的に低減されました。
総合能力の超級挑戦：複数の評価で同じ規模モデルの中で首位に立つ
実際のタスク性能と学術的な基準評価において、MNN-Pocket-0.3Bはそのパラメータ量をはるかに超える爆発力を示した。
評価データによると、このモデルの英語版IFEvalのスコアは73.20に達し、自作の中国語指令によるIFEval-zhのスコアは74.59に上り、同種の比較モデルの中でトップクラスになっている。中英両言語の知識、推論、数学、コード、指令遵守を含む11項目の総合評価において、平均スコアは50.00に達し、MiniCPM4-0.5BやQwen3-0.6Bといったより大規模な同種モデルを全面的に上回っている。その中で、中国語と数学のMGSM-zhのスコアは51.20、コード生成のHumanEvalのスコアは53.66である。
全バージョン全オープンソースマトリックス：研究者と開発者エコシステムを活性化する
技術成果を迅速に実際のビジネス生産性に変換できるように、MNNチームは予備訓練、後続の訓練、端末側のデプロイという全プロセスにおいて、複数のバージョンをオープンソース化しました。これにより、さまざまなシナリオにおける深い適合が実現できます。
MNN-Pocket-0.3B-Base：予備学習の継続、分野適応、基本能力研究のために作られています。
MNN-Pocket-0.3B-SFT：後方学習研究、強化学習、ディストリビューションおよびアブレーション実験に向けた。
MNN-Pocket-0.3B：一般的な指示の呼び出しと、各種業務タスクへの深い適合に適しています。
MNN-Pocket-0.3B-MNN：W4A16QATを採用した端側専用デプロイバージョンであり、MNN推論エンジンの低ビットオペレータとハードウェアバックエンドの最適化により、特定のデバイスでのデコーディングスループットは466token/sに達する。
MNN-Pocket-0.3B-DFlash2：DFlash2の投機的なデコーディングの下書きモデルを設計し、ブロックレベルの生成と検証を組み合わせることで、特定のタスクにおけるデコーディングのスループットは通常の自己回帰デコーディングの2.06倍に達する。
MNN-Pocket-0.3B-Dec：意思決定頭を通じて、候補選択型タスクを正確に実行する。