Le domaine de la génération de texte dans l'intelligence artificielle connaît une innovation révolutionnaire. Des chercheurs de l'université Stanford et de Together AI ont récemment lancé en collaboration un tout nouveau paradigme de génération de texte, radicalement différent des modèles autorégressifs et de diffusion traditionnels — le Next-Concept Modeling (en abrégé NCM, c'est-à-dire « modélisation du concept suivant »). Cette méthode emprunte habilement l'idée de la « prédiction de l'échelle suivante » du domaine de la génération d'images et devrait ouvrir une voie de développement entièrement nouvelle pour les futures technologies de génération de texte.
Sur le plan de la mise en œuvre technique, le NCM simule la logique d'écriture humaine consistant à « concevoir d'abord un plan macroscopique, puis à rédiger en remplissant les détails ». L'ensemble du système s'accomplit en deux étapes d'entraînement : on entraîne d'abord un VQ-VAE résiduel multi-échelle, afin d'obtenir des encodages discrets de texte multi-niveaux capables de compléter l'information couche par couche ; puis on fige ce système et on entraîne un module Transformer à prédire l'encodage du niveau suivant. Lors de la génération de texte, le modèle produit d'abord en parallèle un plan macroscopique au niveau des concepts, puis remplit en parallèle les détails concrets couche par couche, pour finalement les assembler en un texte complet.
En matière de performances lors des tests pratiques, le NCM a livré un bilan remarquable. Les données expérimentales montrent que, tout en maintenant une qualité de génération comparable voire supérieure, le NCM a réalisé un bond de vitesse de génération de 10 à 31 fois par rapport aux modèles de langage à diffusion traditionnels, tout en réduisant considérablement le nombre de tokens consommés pendant l'entraînement. De plus, sur des tâches de raisonnement complexes comme le sudoku, il surpasse nettement les modèles de base autorégressifs et à diffusion traditionnels, tout en prenant en charge un mécanisme de sélection parmi plusieurs candidats générés pour optimiser davantage le résultat final.
Bien que l'échelle des paramètres des modèles utilisés dans cette recherche demeure actuellement relativement limitée, et que ses performances après agrandissement du modèle ainsi que ses capacités de génération de textes précis et de contenus longs restent à vérifier ultérieurement, cette idée innovante brise sans conteste l'inertie technologique de longue date et offre une solution entièrement nouvelle et pleine d'imagination pour la génération efficace de texte par l'intelligence artificielle.