IT之家 El 16 de octubre, la empresa de IA PrismML publicó un artículo en su blog ayer (15 de octubre), anunciando la lanzamiento de los modelos de la serie Ternary Bonsai 2. Están disponibles en tres tamaños: 2B, 4B y 9B. El objetivo es que los agentes de IA funcionen localmente en teléfonos móviles, PC y dispositivos wearables, para realizar capacidades como razonamiento, reconocimiento de imágenes y llamadas a herramientas.
Los modelos de la serie Ternary Bonsai 2 están construidos sobre la base de Qwen 3.5 de Alibaba, utilizando un método de ponderación “ternaria”, es decir, codificando los parámetros del modelo con solo tres valores: -1, 0 y +1. Según la información oficial, el espacio de almacenamiento para los modelos 2B, 4B y 9B es aproximadamente 0.43GB, 0.95GB y 2GB, respectivamente.
En términos de capacidad, la serie Bonsai 2 destaca la utilidad de los agentes locales: seguir instrucciones, completar tareas diarias, llamar a herramientas en dispositivos móviles y evitar la repetición de salidas. La compañía probó las llamadas a herramientas inteligentes, las matemáticas, el seguimiento de instrucciones, la programación, el conocimiento y el razonamiento, y la comprensión visual en 19 criterios; en el modelo 9B, la cantidad de tokens necesarios para ejecutar instrucciones estándar y tareas matemáticas diarias se reduce aproximadamente un 40%.
En términos de rendimiento, PrismML indica que en hardware como el RTX 4090 y el M5 Pro, los nuevos modelos pueden lograr un rendimiento de transmisión hasta 5 veces mayor y una eficiencia energética hasta 3 veces mayor que los modelos de precisión completa correspondientes; en el iPhone 18 Pro Max, el modelo 9B puede alcanzar hasta 34 elementos de palabra por segundo, y el modelo 2B puede alcanzar hasta 120 elementos de palabra por segundo. IT Home ha incluido las capturas de pantalla relacionadas de la siguiente manera:
Esta serie puede formar parte de una línea de productos completa, desde tareas ligeras hasta flujos de trabajo complejos, junto con el Bonsai 2 27B existente. Los desarrolladores pueden ejecutarla en GPU NVIDIA mediante llama.cpp, o desplegarla en Mac, iPhone y iPad mediante MLX; los pesos del modelo están disponibles bajo la licencia Apache 2.0.