Die Technologie der Textgenerierung im Bereich der künstlichen Intelligenz erlebt eine bahnbrechende Innovation. Forscher der Stanford University und von Together AI haben kürzlich gemeinsam ein völlig neues Textgenerierungsparadigma vorgestellt, das sich grundlegend von traditionellen autoregressiven und Diffusionsmodellen unterscheidet: Next-Concept Modeling (kurz NCM, also „Nächste-Konzept-Modellierung“). Diese Methode übernimmt geschickt den Gedanken der „Next-Scale-Prediction“ aus dem Bereich der Bildgenerierung und könnte für zukünftige Textgenerierungstechnologien einen völlig neuen Entwicklungsweg eröffnen.
Was den technischen Umsetzungsweg angeht, so simuliert NCM die menschliche Schreiblogik des „zuerst Konzipierens einer groben Gliederung und erst dann Ausfüllens der Details“. Das gesamte System wird in einer zweistufigen Ausbildung trainiert: Zunächst wird ein multiskaliges residuales VQ-VAE trainiert, um mehrlagige diskrete Textkodierungen zu erhalten, die Information Schicht für Schicht ergänzen können; anschließend wird das System eingefroren und ein Transformer-Modul darauf trainiert, die Kodierung der jeweils nächsten Ebene vorherzusagen. Bei der Textgenerierung erzeugt das Modell zunächst parallel die konzeptuelle Makrogliederung, füllt dann Schicht für Schicht parallel konkrete Details aus und setzt diese schließlich zu einem vollständigen Text zusammen.
In praktischen Tests lieferte NCM beeindruckende Ergebnisse. Die Experimentdaten zeigen: Bei nahezu gleicher oder sogar besserer Generierungsqualität erreichte NCM gegenüber traditionellen Diffusionssprachmodellen einen Geschwindigkeitssprung um das 10- bis 31-Fache, und auch die während des Trainings benötigte Anzahl an Tokens sank erheblich. Darüber hinaus schnitt es bei komplexen Schlussfolgerungsaufgaben wie Sudoku deutlich besser ab als traditionelle autoregressive und Diffusions-Baselinemodelle; zudem unterstützt es einen Mechanismus zur Auswahl aus mehreren Generierungskandidaten, um das Endergebnis weiter zu optimieren.
Obwohl die in der derzeitigen Studie eingesetzten Modelle noch eine vergleichsweise begrenzte Parameterzahl aufweisen und ihre Leistung nach einer Skalierung des Modells sowie ihre Fähigkeit zur Generierung präziser Texte und langer Inhalte noch überprüft werden müssen, bricht dieser innovative Ansatz zweifellos die langjährige technische Trägheit und bietet eine äußerst zukunftsträchtige, völlig neue Lösung für die effiziente Textgenerierung durch künstliche Intelligenz.