AIbaseActualizado el

Lanzamiento del modelo multimodal en el dispositivo MiniCPM-V 4.7 de ModelBest: 3 GB de memoria alcanzan para más de 13 token/s

ModelBest ha lanzado el nuevo modelo multimodal de gran escala para dispositivos MiniCPM-V 4.7, disponible en dos tamaños: 35B-A3B y 1B. El 35B-A3B es el primer modelo MoE de la familia y, gracias a la tecnología de…

ModelBest presentó ese mismo día el nuevo modelo multimodal de gran escala para dispositivos MiniCPM-V 4.7, ofreciendo de una sola vez dos tamaños: 35B-A3B y 1B. El 35B-A3B es el primer modelo MoE (mezcla de expertos) de la familia MiniCPM-V y, apoyándose en la nueva tecnología de aceleración de inferencia LES de "programación anticipada de expertos", se convirtió en el primer MoE de código abierto capaz de ejecutarse en el dispositivo de forma fluida y sin pérdidas.

La cifra más llamativa es su rendimiento real: en un iPhone 17 Pro Max ocupa solo 3 GB de memoria y logra una velocidad de decodificación de más de 13 token/s. Esto significa que no hace falta enviar los datos a la nube: los teléfonos insignia pueden manejar la inferencia multimodal de forma local, con doble beneficio en privacidad y latencia.

Compatibilidad con todas las plataformas y esquema de ajuste fino también de código abierto

En cuanto a la compatibilidad, la versión 4.7 cubre simultáneamente los tres grandes sistemas —iOS, Android y HarmonyOS—, y es compatible con plataformas de chips como Intel, AMD, Arm, Rockchip y Houmo, incorporando también los escenarios móviles y de computación local. ModelBest también publicó al mismo tiempo su esquema de ajuste fino Self-Replay Fine-Tuning (SRFT), que ayuda a los desarrolladores a ampliar capacidades y suprimir el olvido a un costo menor, facilitando el desarrollo secundario.

En las comparaciones de rendimiento tampoco se queda atrás: en modo Instruct, el 35B-A3B obtiene una puntuación global más alta que Qwen3.6 35B-A3B con un tiempo de inferencia más corto; la versión 1B, respecto a la generación anterior 4.6, sigue mejorando sus capacidades básicas, y su puntuación global y eficiencia de inferencia superan claramente a las de Qwen3.5 0.8B. En el contexto actual, donde los modelos para dispositivos compiten por ser cada vez más pequeños, esta generación de ModelBest reduce aún más el umbral de "MoE para grandes modelos + ejecución local en el teléfono".


Fuente original

AIbase

Notas sobre el contenido

La publicación original y los derechos pertenecen a la fuente.

Traducción automática · Consulte el original