IT之家 Le 16 octobre, une société de IA, PrismML, a publié hier (15 octobre) un post annonçant la sortie des modèles de la série Ternary Bonsai 2, disponibles en trois tailles : 2B, 4B et 9B. Le but est que ces modèles puissent exécuter des agents d’IA localement sur les téléphones, les PC et les appareils portables, afin de réaliser des raisonnements, de reconnaître des images et de faire appel à des outils.
Modèles de série Ternary Bonsai 2 sont construits sur une base Qwen 3.5 d’Alibaba, et utilisent une notation de poids « ternaire », c’est-à-dire que les paramètres du modèle sont codés uniquement avec trois valeurs : -1, 0, +1. Selon les données officielles, l’espace de stockage des modèles 2B, 4B et 9B est respectivement d’environ 0,43GB, 0,95GB et 2GB.
En termes de capacités, la série Bonsai 2 met l’accent sur la praticité des agents locaux : suivre les instructions, accomplir des tâches quotidiennes, utiliser des outils sur appareils mobiles, éviter la répétition de sorties, etc. L’équipe officielle a testé 19 capacités liées à l’appel des outils intelligents, à la mathématique, au suivi des instructions, à la programmation, à la connaissance et à la raisonnement, ainsi qu’à la compréhension visuelle ; le modèle 9B a réduit environ 40 % du nombre de tokens nécessaires pour l’exécution des instructions standard et les tâches mathématiques quotidiennes.
En termes de performance, PrismML indique que sur des équipements tels que le RTX 4090 et le M5 Pro, les nouveaux modèles permettent une consommation d’énergie 3 fois plus élevée et un débit 5 fois plus important par rapport aux modèles à précision complète correspondants ; sur l’iPhone 18 Pro Max, le modèle 9B peut atteindre jusqu’à 34 éléments par seconde, et le modèle 2B jusqu’à 120 éléments par seconde. IT Home a publié les captures d’écran correspondantes ci-dessous :
Cette série peut former une gamme complète allant des tâches légères aux flux de travail complexes avec le Bonsai 2 27B existant. Les développeurs peuvent l'exécuter sur des GPU NVIDIA via llama.cpp, ou le déployer sur Mac, iPhone et iPad via MLX ; les poids des modèles sont open source sous la licence Apache 2.0.