En la feria mundial de desarrolladores 1024 de科大讯飞 hoy por la tarde, se presentó oficialmente el modelo grande de IA en la nube X2.6 de Xunfei Xinghuo. Su etiqueta más importante es: por primera vez, basándose en capacidades de computación nacional, se han desarrollado tanto las capacidades de código como las de inteligencia artificial. El presidente del consejo de administración, Liu Qingfeng, señaló en la conferencia de prensa que, entre las empresas que están desarrollando modelos grandes, solo Xinghuo utiliza puramente capacidades de computación nacional para entrenarlos, mientras que casi todas las demás operan sobre tarjetas de NVIDIA. Además, el tamaño del modelo de科大讯飞 es el más pequeño entre ellos.
Para mejorar la eficiencia de la capacidad de cálculo nacional, Xunfei se ha enfrentado directamente a las limitaciones de los chips nacionales: el ancho de banda de la memoria visual está restringido, y la eficiencia en tareas de larga distancia no puede aumentar durante el entrenamiento mixto. Liu Qingfeng dijo que X2.6 fue el primero en superar el obstáculo de la eficiencia del entrenamiento para tareas de larga distancia con chips nacionales, gracias a una tecnología de entrenamiento dinámico en paralelo para tareas de larga distancia adaptada a la plataforma nacional. En el lado de la inferencia, presentaron dos innovaciones: una es la tecnología de inferencia distribuida basada en capacidades computacionales heterogéneas nacionales, que aborda el obstáculo de ancho de banda que impide un entrenamiento rápido; la otra es la tecnología de desarrollo basada en equipos nacionales, que permite reutilizar directamente las conclusiones existentes sin tener que calcular todo desde cero.
En el lado del dispositivo también se ha dado un paso adelante. El modelo grande abierto X2.6-4B de Xinghuo se lanzó de forma sincronizada, lo que por primera vez permitió que el modelo en el lado del dispositivo alcanzara un gran avance en las capacidades de inteligencia artificial. Los puntajes obtenidos son significativamente más altos en comparación con el X2.5-4B. Si se analiza el período desde el lanzamiento abierto del X2.5-4B el 1 de septiembre, su cantidad de descargas se ha colocado entre los cuatro primeros modelos en el lado del dispositivo a nivel mundial. La serie X2.6 está ahora disponible para prueba experimental en la página web oficial de Xunfei Xinghuo, y se ha implementado una arquitectura de colaboración integrada entre el lado del dispositivo y el cloud.
Los parámetros y los precios también se anunciaron. X2.6 se basa en el entrenamiento de potencia de cálculo nacional, utiliza una arquitectura MoE con parámetros 293B-A30B, la longitud del contexto llega a 1M, el código y las capacidades del agente son de primera categoría en el sector, y proporciona protección de seguridad profesional, además de soportar estrategias de seguridad personalizadas según escenarios de tareas. Los precios limitados para la inferencia son: 0.9 yuanes por millón de tokens de entrada, 0.08 yuanes por hito en el caché y 3.6 yuanes por salida. Y el modelo sidecar X2.6-4B ha mejorado significativamente en código, agente, textos largos y habilidades lingüísticas múltiples. Se han añadido tres modos de inferencia, y su eficiencia bajo el marco de inferencia desarrollado por ellos mismos es mejor que la de ollama. La tarifa de inferencia es gratuita durante un período limitado.