인공지능 분야의 텍스트 생성 기술에 도전적인 혁신이 찾아왔다. 스탠퍼드 대학교와 Together AI의 연구진이 최근 전통적인 자기회귀 모델 및 확산 모델과는 전혀 다른 완전히 새로운 텍스트 생성 패러다임인 Next-Concept Modeling(약칭 NCM, 즉 '다음 개념 모델링')을 공동으로 선보였다. 이 방법은 이미지 생성 분야의 '다음 스케일 예측' 아이디어를 영리하게 차용한 것으로, 향후 텍스트 생성 기술에 완전히 새로운 발전 경로를 열어줄 것으로 기대된다.
기술 구현 경로에서 NCM은 인간이 '먼저 거시적 개요를 구상한 후 집필하며 세부 내용을 채우는' 글쓰기 논리를 모방한다. 전체 시스템은 두 단계 훈련을 통해 완성된다. 먼저 다중 스케일 잔차 VQ-VAE를 훈련하여 층층이 정보를 보완할 수 있는 다층 이산 텍스트 인코딩을 얻고, 이후 해당 시스템을 동결한 상태에서 다음 층의 인코딩을 예측하도록 Transformer 모듈을 훈련한다. 텍스트를 생성할 때 모델은 먼저 개념 수준의 거시적 개요를 병렬로 생성한 뒤, 층별로 병렬 방식으로 구체적인 세부 내용을 채워 최종적으로 완전한 텍스트 내용으로 조합한다.
실제 테스트 성능에서 NCM은 주목할 만한 성적표를 내놓았다. 실험 데이터에 따르면, 비슷하거나 오히려 더 우수한 생성 품질을 유지하는 조건에서 NCM은 전통적인 확산 언어 모델 대비 10배에서 31배에 이르는 생성 속도 비약을 달성했으며, 훈련 과정에서 소모되는 token 수도 크게 줄었다. 또한 수독(스도쿠)과 같은 복잡한 추론 과제에서도 전통적인 자기회귀 및 확산 기준 모델보다 뚜렷이 우수한 성능을 보였으며, 다중 생성 후보 선택 메커니즘을 통해 최종 출력 결과를 더욱 최적화하는 것도 지원한다.
현재 이 연구에서 사용된 모델의 파라미터 규모가 여전히 상대적으로 제한적이며, 모델 규모를 확대한 후의 성능, 정밀 텍스트 및 장문 콘텐츠 생성 능력은 후속 검증이 필요하지만, 이 혁신적인 사고방식은 오랜 기간 이어져 온 기술적 관성을 확실히 깨뜨리며 인공지능의 고효율 텍스트 생성에 상상력 가득한 완전히 새로운 해법을 제공한다.