Der Bereich der KI-Inferenz auf Endgeräten verzeichnet einen wichtigen Fortschritt. Das MNN-Team von Taobao gibt offiziell die Open-Source-Freigabe eines für Smartphone-Anwendungen konzipierten leichten großen Sprachmodells namens MNN-Pocket-0.3B bekannt. Das Modell verfügt über rund 300 Millionen Parameter, wurde speziell auf die Ressourcenbudgets und Aufgabenanforderungen mobiler Geräte wie Smartphones zugeschnitten und erreicht bei äußerst geringem Speicherverbrauch und Energieverbrauch eine Reaktionsgeschwindigkeit auf Cloud-Niveau sowie herausragende allgemeine Aufgabenfähigkeiten.
Extrem leichtgewichtiges Design: Das Volumen wurde nahezu halbiert, die Speicherauslastung bleibt stabil unter 300MB
Damit große Modelle auf Mobilgeräten tatsächlich „nahtlos laufen“ können, hat das Taobao-MNN-Team das Konzept „nativ integrierte große Modelle in Mobile-Apps“ in vier zentrale Designkennzahlen unterteilt: eine Decoding-Durchsatzrate von über 200 token/s, einen SpitzenSpeicherverbrauch von unter 300 MB, einen äußerst geringen Energieverbrauch pro Inferenz sowie eine starke Befehlsbefolgung und Fähigkeit zur Erweiterung auf mehrere Aufgaben.
In Bezug auf die tatsächliche Leistung präsentiert das Modell beeindruckende Ergebnisse:
Erstaunliche Offline-Geschwindigkeit: In einem Test auf einem echten Apple iPhone18Pro lief das Modell über die MNN-Inferenz-Engine vollständig offline und erreichte eine durchschnittliche Dekodiergeschwindigkeit von etwa 350 token/s. Im Metal-Backend-Test auf dem iPad Pro M5 erreichte der Prefill-Durchsatz bis zu 8，721 token/s und der Decode-Durchsatz 466 token/s, was etwa das 1.63-Fache von Qwen3-0.6B unter denselben Bedingungen ist.
Extrem kleine Größe und geringer Speicherverbrauch: Die INT4MNN-Bereitstellungsdatei des Modells ist nur 173 MB groß. In der Testkonfiguration auf dem iPad Pro M5 betrug der maximale Speicherzuwachs nur 228 MB. Zum Vergleich: Im selben Test betrug die Bereitstellungsgröße von Qwen3-0.6B 340 MB mit einem maximalen Speicherzuwachs von 427 MB. Die Bereitstellungsgröße von MNN-Pocket-0.3B wurde damit um etwa 49 % reduziert und der Speicherzuwachs um etwa 47 % verringert, wodurch für Bild-, Video- und andere Geschäftsmodule des Mobilfunksystems ausreichend Platz bleibt.
Extrem niedriger Energieverbrauch: Das Team führte auf einem OnePlus 13 (Snapdragon 8 Elite) Verbrauchstests mit dem 4-bit-Modell durch. Unter Basislast betrug der kumulierte zusätzliche Energieverbrauch bei 100 Aufgaben gleicher Last nur etwa 0.3 % der Gesamtkapazität des Handyakkus, was die Sorge der Nutzer über Stromverbrauch und Hitzeentwicklung bei On-Device-KI vollständig ausräumt.
Schlanker und effizienter Wortschatz-Aufbau: Um die chinesische Internetumgebung besser abzudecken, verkleinerte das Team den Wortschatz von etwa 151K auf 64K, eine Reduzierung um 57 %, was den Parameteraufwand der Embedding- und Ausgabeschichten wirksam senkte.
Herausforderung einer Kompetenzklasse höher: In mehreren Bewertungen an der Spitze der Modelle gleicher Größe
In der Leistung bei realen Aufgaben und in akademischen Benchmark-Bewertungen zeigte MNN-Pocket-0.3B eine Schlagkraft, die weit über seine Parametergröße hinausgeht.
Die Bewertungsdaten zeigen, dass das Modell im englischen IFEval einen Score von 73.20 und im selbst aufgebauten chinesischen Instruktionsfolge-Benchmark IFEval-zh einen Score von 74.59 erreicht und damit in beiden Fällen unter vergleichbaren Modellen führend ist. In 11 umfassenden Bewertungen, die chinesisches und englisches Wissen, logisches Denken, Mathematik, Code und Instruktionsfolge abdecken, erreichte es eine durchschnittliche Punktzahl von 50.00 und übertraf damit durchgehend größere Modelle derselben Klasse wie MiniCPM4-0.5B und Qwen3-0.6B. Darunter: ein Score von 51.20 im chinesischen Mathematik-Benchmark MGSM-zh und ein Score von 53.66 in der Codegenerierung HumanEval.
Vollständig offene Versionsmatrix: Ökosystem für Forscher und Entwickler stärken
Damit die technischen Ergebnisse schnell in echte Geschäftswertigkeit umgesetzt werden können, hat das MNN-Team mehrere Versionen des gesamten Prozesses vom Pre-Training über das Post-Training bis zur On-Device-Bereitstellung als Open Source veröffentlicht, um die Anforderungen an tiefe Anpassung in verschiedenen Szenarien zu erfüllen:
MNN-Pocket-0.3B-Base: Speziell für weiteres Pre-Training, Domänenanpassung und Grundlagenforschung entwickelt.
MNN-Pocket-0.3B-SFT: Für Post-Training-Forschung, bestärkendes Lernen, Destillation und Ablationsexperimente.
MNN-Pocket-0.3B: Geeignet für allgemeine Instruktionsausführung und tiefe Anpassung an verschiedenste Geschäftsaufgaben.
MNN-Pocket-0.3B-MNN: Eine speziell für die On-Device-Bereitstellung entwickelte Version mit W4A16QAT, die in Kombination mit den Low-Bit-Operatoren und Hardware-Backend-Optimierungen der MNN-Inferenz-Engine auf bestimmten Geräten den Dekodier-Durchsatz auf bis zu 466 token/s maximiert.
MNN-Pocket-0.3B-DFlash2: Entworfen als Draft-Modell für DFlash2-speculative Decoding; in Kombination mit blockweiser Generierung und Verifikation erreicht der Dekodier-Durchsatz bei bestimmten Aufgaben das 2.06-Fache des regulären autoregressiven Dekodierens.
MNN-Pocket-0.3B-Dec: Präzise Ausführung von Kandidatenauswahl-Aufgaben durch einen Decision Head.