저자丨정자메이(郑佳美)
편집丨쉰 펑(岑 峰)
지푸 내부의 GLM-Omni가 먼저 한 편의 논문에서 모습을 드러냈다. 이 연구는 칭화대학교와 지푸 AI가 공동으로 수행했으며, 탕제가 교신저자를 맡았다. 모델명이 논문에 등장하자마자 소셜 플랫폼에서는 이를 GLM-5.5와 연결 짓는 목소리가 나왔다. 논문은 버전 대응 관계를 공개하지는 않았지만, GLM-Omni의 기술적 기반과 통합 시각 이해 및 이미지 생성 분야에서의 실험 결과를 제시했다.참고 링크:https://arxiv.org/pdf/2610.21459그중 한 조의 데이터는 특히 눈에 띈다. 이미지 생성 학습을 거친 GLM-Omni는 숫자 과제에서 지정된 번호를 저지르에 정확히 그려 넣는 비율이 72%에 달했지만, 연구진이 이미지를 치우고 텍스트로 저지르 번호를 물었을 때 정답률은 겨우 2%에 불과했다. 모델이 이미 화면 속에서 재현할 수 있는 지식이 한마디 질문으로 바뀌자 거의 답하지 못한 것이다. 이는 통합 멀티모달 모델의 한 기술적 병목을 정확히 찌른다. 과거에는 이미지 이해가 보는 것을, 이미지 생성이 그리는 것을 담당했다. 이제 두 능력이 점차 같은 아키텍처로 들어오면서, 모델은 물체, 지도, 문자 패턴 생성을 학습할 때 언어로 기술되지 않은 대량의 시각 정보와도 접촉한다. 하지만 이미지에서 학습한 것 중 얼마나 많은 것이 언어 추론에 사용되는지는 생성 효과만 봐서는 알기 어렵다. 지푸의 이 논문은 바로 지식이 모델에 들어온 뒤 호출되는 과정을 따라가며 이 문제를 하나씩 분해해 보려 한다.
01
KTP: 답을 이미지 속에 남기기
생성 학습이 모델에게 새로운 지식을 가르쳤는지 확인하려면 먼저 모델이 이미 갖고 있는 기억을 우회해야 한다. 모델에게 실제 팀의 저지르를 생성하게 하면, 번호를 정확히 그렸더라도 단지 예전에 텍스트 자료에서 읽었기 때문일 수 있다. 뛰펑왕(雷峰网) 연구진은 이에 가상 세계 MagicWorld를 구축해 존재한 적 없는 엔티티에 색상, 번호, 공간 관계를 부여함으로써 목표 지식이 최대한 이번 학습의 이미지에서만 모델에 들어가도록 했다. 예를 들어, 가상의 저지르 하나를 Arvenbrock이라 하고 번호를 10으로 설정한다. 학습 시 텍스트 프롬프트는 이 저지르 생성만 요구하며, 숫자 10은 목표 이미지에만 등장한다. 모델의 학습이 끝나면 연구진은 Arvenbrock의 저지르 번호를 직접 묻는다. 10이라고 답할 수 있다면, 이미지 속 엔티티 속성 연관을 텍스트 답변으로 가져왔다고 볼 근거가 있는 것이다. 이 데이터 세트에는 저지르만 있는 것이 아니다. 팀은 색상, 수량, 형상, 공간 배치, 상대적 크기, 숫자, 문자의 7가지 유형의 과제를 설계했고, 각 유형당 50개씩 총 350개의 지식을 만들었으며, 각 엔티티마다 다른 배경과 시점의 이미지를 제작해 선별 후 8552쌍의 학습 샘플을 남겼다. 학습 텍스트도 검사를 거쳐 답안 누출과 속성 분포 불균형으로 인한 간섭을 최대한 배제했다. 서로 다른 과제는 지식 유형의 차이도 벌려준다. 형상과 색상은 대개 유한한 범주에 속하고, 공간 배치는 대상 간의 위치 관계 이해를 요구하며, 저지르 번호와 책 제목은 구체적인 문자열을 기억해야 한다. 이렇게 통제된 지식을 갖춘 뒤 연구진은 두 경로를 각각 테스트했다. 하나는 모델이 목표 이미지를 다시 생성하게 한 뒤 이미지 속 속성을 검사하는 것이고, 다른 하나는 이미지를 제공하지 않고 텍스트로만 질문하는 것이다. 전자는 모델이 생성 과정에서 연관을 재현할 수 있는지를 측정하고, 후자는 연관을 직접 언어 답변으로 전환할 수 있는지를 측정한다. 이를 통해 모델이 해당 속성을 아예 학습하지 못한 것인지, 아니면 그릴 줄은 알지만 텍스트 쪽에서 호출하지 못하는 것인지 구분할 수 있다. 실험에 참여한 세 가지 모델은 서로 다른 아키텍처를 채택했다. BAGEL은 이해와 생성을 비교적 독립적인 전문가 분기에 배치하고, SenseNova-U1은 이미지 픽셀을 직접 모델링하며, GLM-Omni는 GLM-4.1V-Thinking의 사전학습 모델에서 출발해 X-Omni 기반의 이산 이미지 Tokenizer를 연결했다. 연구에는 목표 지식과 무관한 텍스트 질의응답 10000건도 추가되어, 모델이 답변 형식에는 익숙해지지만 답을 미리 얻지는 못하도록 했다.02
그릴 줄은 알지만 말하지 못하는, 문제는 어디에 걸려 있는가
직접 테스트로 드러난 격차는 저지르 사례보다 더 보편적이었다. BAGEL의 평균 시각 정답률은 31.43%, 텍스트 답변은 8.86%에 불과했고, GLM-Omni는 각각 54.00%와 14.57%, SenseNova-U1은 각각 61.14%와 20.00%였다. SenseNova-U1은 번호 과제에서 시각 정답률이 88%에 달했지만 순수 텍스트 답변은 0%였다. 이미지 생성의 학습 목표는 모델이 이름과 프롬프트에 따라 시각 내용을 재구성하도록 하는 것이다. 엔티티와 속성의 연관이 이미지 복원에 도움이 된다면 학습을 통해 강화될 수 있지만, 텍스트 질의응답은 나아가 언어 출력 경로를 따라 해당 속성을 찾아 문자나 단어로 만들어야 한다. 파라미터를 공유한다고 해서 이러한 경로가 이미 서로 연결된 것은 아니다. 생성 경로에서도 안정적으로 학습되지 못한 지식도 있다. 예컨대 BAGEL과 SenseNova-U1은 공간 배치 과제에서 시각 정답률이 모두 0%였으므로, 이후 학습에서는 학습 부족과 읽기 어려움을 구분할 필요가 있다. 팀은 먼저 Textual Alignment를 채택해 일부 엔티티에 텍스트 질의응답을 보충함으로써, 모델이 소량의 예시로 같은 유형의 시각 속성을 읽는 방법을 배울 수 있는지 살펴보았다. 유형당 50개의 엔티티를 두 그룹으로 나누어, 전부 이미지 생성 학습을 받되 그중 25개 엔티티에는 엔티티당 10건의 텍스트 질의응답 예시를 추가로 제공하고, 나머지 25개는 텍스트 답을 제공하지 않고 테스트용으로 남겼다. 모델은 앞 그룹에서 학습한 방식을 뒷 그룹에 적용해야 하며, 테스트 답을 직접 기억해서는 안 된다. 결과는 상당히 갈렸다. BAGEL의 평균 텍스트 정답률은 8.86%에서 15.43%로, SenseNova-U1은 20.00%에서 28.00%로 올랐지만, GLM-Omni는 14.57%에서 12.57%로 오히려 떨어졌다. SenseNova-U1의 형상 과제는 20%에서 68%로 증가했고 상대적 크기는 100%에 달했지만, 세 모델 모두 테스트 엔티티의 숫자 및 책 제목 과제에서 정답률은 여전히 0%였다. 이러한 차이는 속성 자체와 관련이 있다. 형상과 크기에는 전이 가능한 분류 및 비교 규칙이 있어 다른 엔티티의 질의응답 예시가 도움이 되지만, 번호와 책 제목은 각 엔티티 고유의 문자에 대응해야 하므로 답변 문형을 익히는 것만으로는 턱없이 부족하다. 더 중요한 것은, 이미지 생성과 텍스트 질의응답이 여전히 두 종류의 학습 샘플로 분리되어 있어, 모델이 그리기와 답하기를 각각 배웠지만 같은 하나의 응답 안에서 시각 내용에서 언어 답변으로 가는 과정을 연습하지는 못했다는 점이다. 연구진은 이에 두 가지 지도 방식의 조직 방법을 바꾸었다.03
이미지와 텍스트를 함께 학습시키기
Interleaved Image–Text Alignment(이미지·텍스트 교차 정렬)는 이미지 생성과 텍스트 답변을 같은 하나의 학습 시퀀스에 넣는다. 저지르 번호 문제를 만나면 모델은 먼저 해당 저지르를 생성한 뒤, 화면 속 번호에 근거해 텍스트 답변을 구성한다. 이미지 재구성 목표와 언어 지도가 동일한 엔티티 속성을 중심으로 작동하므로, 두 유형의 과제가 각자 따로 연습되는 것보다 학습 과정에 직접적인 연결이 더해진다. 뛰펑왕(雷峰网)(공식 계정: 뛰펑왕) 평가 조건은 변하지 않았다. 학습 시에는 이미지·텍스트 교차가 가능하지만, 테스트에서는 여전히 직접 텍스트로 답해야 하며 임시로 이미지를 생성할 수 없다. GLM-Omni의 평균 텍스트 정답률은 텍스트 정렬 단계의 12.57%에서 26.86%로 향상되었고, 형상 과제는 12%에서 64%로, 공간 배치는 0%에서 40%로 올랐다. BAGEL과 SenseNova-U1의 평균치도 각각 17.14%와 28.57%에 달했다. 다만 일부 색상 및 수량 과제에서는 하락이 나타나, 교차 학습이 아직 모든 시각 속성을 두루 충족하지는 못했다. 향상이 과연 이미지 지도에서 왔는지, 아니면 단지 텍스트 추론 내용이 늘어난 것에 불과한가? 팀은 GLM-Omni에서 소거 실험을 했다. 동일한 교차 응답, 텍스트 지도 및 독립 이미지 생성 학습을 유지한 채 교차 샘플의 이미지 손실만 차단하자, 평균 텍스트 정답률이 26.86%에서 13.71%로 떨어졌다. 이는 이미지 재구성의 학습 신호가 실제로 언어 호출에 영향을 미쳤음을 보여주며, 모델에게 텍스트를 조금 더 보여준 것만은 아니다. 모델이 구체적으로 어떤 파라미터를 통해 이 정보를 공유하는지는 실험에서 아직 규명되지 않았다. 그럼에도 번호, 책 제목 등의 지식은 여전히 안정적으로 직접 말하기 어려웠다. 연구진은 아예 다른 길로 전환했다. 모델이 답을 그리는 쪽이 더 능숙하다면, 답하기 전에 먼저 한 번 그려볼 수는 없을까? Visual Chain-of-Thought(Visual CoT)는 추론 과정에서 목표 이미지를 생성하고, 이미지에서 속성을 식별한 뒤, 마지막으로 텍스트 문제에 답하는 것을 허용한다. 이번에 GLM-Omni의 평균 정답률은 26.86%에서 41.14%로, BAGEL은 17.14%에서 20.57%로, SenseNova-U1은 28.57%에서 34.86%로 올랐다. 더 두드러진 것은 숫자 과제였다. 세 모델의 기존 직접 텍스트 답변 정답률은 모두 0%였으나, Visual CoT를 사용한 뒤 각각 4%, 36%, 20%에 도달했다. 논문의 한 사례에서 SenseNova-U1은 저지르 번호를 직접 답할 때 잘못된 69를 제시했지만, 저지르 이미지를 생성한 뒤 읽어서 정답인 31을 답했다. 이는 새로운 트레이드오프도 가져온다. 이미지 생성은 지식 검색의 중간 매개체가 될 수 있지만 추가 계산이 필요하고, 이미지 내용에 오류가 생기면 답변까지 잘못 이끌릴 수 있다. 책 제목 과제는 Visual CoT에서도 여전히 개선되지 않았으며, 복잡한 문자의 생성과 읽기에는 여전히 어려움이 존재한다. 더해 실험 지식이 통제된 가상 세계에서 나왔으므로, 이 경로가 실제 동적 장면에서 효과를 보이는지는 추가 검증이 필요하다.04
통합 멀티모달에는 아직 넘어야 할 관문이 있다
GLM-Omni가 논문과 함께 모습을 드러내면서, 지푸의 통합 시각 이해 및 생성 방향에 대한 내부 탐색에 구체적인 기술 세부가 생겼다. 연구의 여러 차례 실험은 생성 효과에 오랫동안 가려져 왔던一个问题을 드러냈다. 모델이 이미지를 통해 학습한 것은 반드시 언어 답변에 직접 사용될 수 있는 것은 아니다. 이미지·텍스트 교차 학습은 일부 지식의 교차 모달 연결을 개선했고, Visual CoT는 모델이 필요할 때 생성 이미지를 활용해 정보를 다시 읽어내도록 했다. 통합 아키텍처로 계속 나아가는 멀티모달 모델에게 다음 난제는 그림을 잘 그리고 문제를 정확히 답하는 것 외에도, 서로 다른 과제에서 축적된 지식이 효과적으로 서로 통하도록 만드는 것이다. GLM-Omni가 이후 어떤 제품 버전에 들어갈지는 더 많은 공개 정보가 필요하다.지금 탑승하세요, 세계 AI 주요 컨퍼런스의 정수를 모두 보여드립니다
독점적으로 자유롭게 열람 가능:
전문가 강연 PPT
컨퍼런스 보고서 전문
인기 논문 해설
학계 신스타 인터뷰
위 QR코드를 스캔하거나
「阅读原文」을 클릭해 전용 존을 팔로우하세요.
뛰펑왕(雷峰网) 오리지널 기사이며, 무단 전재를 금지합니다. 자세한 내용은전재 안내에서 확인하세요.。