人工知能分野のテキスト生成技術に画期的なイノベーションが登場した。スタンフォード大学とTogether AIの研究者らはこのほど、従来の自己回帰モデルや拡散モデルとはまったく異なる新たなテキスト生成パラダイム「Next-Concept Modeling（略称 NCM、すなわち「次コンセプトモデリング」）」を共同で発表した。この手法は、画像生成分野における「次スケール予測」の考え方を巧みに参考にしたものであり、今後のテキスト生成技術に全く新しい発展の道を開く可能性を秘めている。
技術的な実装経路において、NCMは人間の「まずマクロな骨子を構想し、その後ペンを執って詳細を埋めていく」という執筆ロジックを模倣している。システム全体は2段階の訓練によって完成する。まず、多スケールの残差 VQ-VAE を訓練し、層ごとに情報を補完できる多層の離散テキスト符号を得る。続いてそのシステムを凍結し、Transformerモジュールを訓練して次の層の符号を予測させる。テキスト生成の際、モデルはまず概念レベルのマクロな骨子を並列に生成し、その後、層ごとに並列で具体的な詳細を埋めていき、最終的に完全なテキスト内容へと組み上げる。
実際のテストでの性能において、NCMは注目すべき成績を収めた。実験データによると、同等またはそれ以上の生成品質を維持したまま、NCMは従来の拡散言語モデルと比べて10倍から31倍の生成速度の飛躍を達成し、訓練過程で消費するトークン数も大幅に削減された。さらに、数独などの複雑な推論タスクにおいても、従来の自己回帰および拡散のベースラインモデルを明確に上回る性能を示し、同時に複数の生成候補を選択するメカニズムによる最終出力のさらなる最適化にも対応している。
現時点でこの研究に使用されているモデルのパラメータ規模は依然として比較的限られており、モデルのスケール拡大後の性能、正確なテキストおよび長文コンテンツの生成能力については今後の検証が必要であるが、この革新的な発想は、長年にわたる技術の慣性を確実に打破し、人工知能による効率的なテキスト生成に想像力に富んだ全く新しい解法を提供するものである。