IT之家 Bericht vom 16. Oktober: Die AI-Firma PrismML veröffentlichte gestern (15. Oktober) einen Blogpost, in dem sie die Ternary Bonsai 2-Serie-Modelle ankündigte. Es gibt Modelle mit Größen von 2B, 4B und 9B. Ziel ist es, lokale AI-Systeme auf Handys, PCs und tragbaren Geräten zu betreiben, um Fähigkeiten wie Reasoning, Bilderkennung und Toolaufruf zu ermöglichen.
Die Ternary Bonsai 2-Serie-Modelle sind auf der Qwen 3.5-Basis von Alibaba basiert und verwenden das „Ternär“-Wertesystem, bei dem die Modelparametreien nur mit den drei Zahlen -1, 0 und +1 kodiert werden. Laut den offiziellen Angaben belaufen sich die Speicherbedürfnisse der 2B-, 4B- und 9B-Modelle auf jeweils etwa 0,43GB, 0,95GB und 2GB.
In Bezug auf die Fähigkeiten betont die Bonsai 2-Serie die Praktikabilität lokaler Agenten: Ausführen von Anweisungen, Erledigung alltäglicher Aufgaben, Verwendung von Tools auf mobilen Geräten und Vermeidung wiederholter Ausgaben. Die Offizielle hat sechs Fähigkeitsbereiche getestet, darunter die Anrufung intelligenter Tools, Mathematik, Ausführung von Anweisungen, Programmierung, Wissen und Logik sowie visuelle Verständnis, an 19 Benchmarks. Bei dem 9B-Modell sank die Anzahl der Token, die für die Ausführung standardisierter Anweisungen und alltägliche mathematische Aufgaben benötigt werden, um etwa um 40%.
Was die Leistung angeht, erklärt PrismML, dass das neue Modell auf Hardware wie der RTX 4090 und der M5 Pro eine höchste Durchsatzleistung von bis zu 5-fach und eine um 3-fach höhere Effizienz gegenüber dem entsprechenden vollen-precision-Modell bietet. Auf dem iPhone 18 Pro Max kann das 9B-Modell bis zu 34 Wörter pro Sekunde und das 2B-Modell bis zu 120 Wörter pro Sekunde erreichen. IT Home hat dazu die folgenden Screenshots bereitgestellt:
Diese Serie kann zusammen mit dem bestehenden Bonsai 2 27B eine vollständige Produktlinie von leichten Aufgaben bis zu komplexen Workflows bieten. Entwickler können die Modelle über llama.cpp auf NVIDIA-GPUs ausführen, oder über MLX auf Mac, iPhone und iPad deployen; die Gewichte der Modelle sind unter der Apache 2.0-Lizenz verfügbar.