La tecnología de generación de texto en el campo de la inteligencia artificial ha recibido una innovación disruptiva. Investigadores de la Universidad de Stanford y de Together AI lanzaron recientemente un nuevo paradigma de generación de texto totalmente distinto de los tradicionales modelos autorregresivos y de difusión: Next-Concept Modeling (abreviado NCM, es decir, «modelado del siguiente concepto»). Este método toma hábilmente prestada la idea de la «predicción de la siguiente escala» del campo de la generación de imágenes, y se espera que abra una ruta de desarrollo completamente nueva para las futuras tecnologías de generación de texto.
En cuanto a la ruta de implementación técnica, NCM simula la lógica de escritura humana de «primero concebir un esquema macro y luego rellenar los detalles». Todo el sistema se completa mediante un entrenamiento en dos etapas: primero se entrena un VQ-VAE residual multiescala, obteniendo así codificaciones de texto discretas multicapa capaces de complementar información capa por capa; posteriormente, se congela el sistema y se entrena un módulo Transformer para predecir la codificación de la siguiente capa. Al generar texto, el modelo primero genera en paralelo un esquema macro a nivel conceptual, luego rellena en paralelo los detalles concretos capa por capa y, finalmente, los combina en un contenido textual completo.
En las pruebas prácticas, NCM presentó resultados notables. Los datos experimentales muestran que, manteniendo una calidad de generación similar o incluso superior, NCM logró un salto de 10 a 31 veces en la velocidad de generación respecto a los tradicionales modelos de lenguaje de difusión, y además la cantidad de tokens necesarios durante el entrenamiento también se redujo considerablemente. Asimismo, en tareas de razonamiento complejas como los sudokus, su rendimiento superó claramente al de los modelos de referencia tradicionales autorregresivos y de difusión, y también admite un mecanismo de selección entre múltiples candidatos generados para optimizar aún más el resultado final.
Aunque la escala de parámetros de los modelos utilizados en esta investigación sigue siendo relativamente limitada, y su rendimiento tras ampliar la escala del modelo, así como su capacidad para generar texto preciso y contenido extenso, aún deberán verificarse más adelante, esta idea innovadora sin duda rompe la inercia tecnológica de larga data y ofrece una solución nueva y llena de imaginación para que la inteligencia artificial genere texto de manera eficiente.