作者丨鄭佳美
編集丨岑峰
智譜内部のGLM-Omniは、まず一篇の論文で姿を現した。この研究は清華大学と智譜AIが共同で実施したもので、唐傑が責任著者を務めている。モデル名が論文に登場した途端、ソーシャルプラットフォーム上ではGLM-5.5との関連を指摘する声が上がった。論文ではバージョンの対応関係は明らかにされていないものの、GLM-Omniの技術的基盤と、統一された視覚理解および画像生成における一連の実験結果が示されている。参考リンク：https://arxiv.org/pdf/2610.21459中でもある一組のデータがとりわけ目を引く：画像生成の訓練を経て、GLM-Omni は数字タスクにおいて、指定された番号をユニフォームに正しく描ける割合が 72% に達した。ところが、画像を取り上げて代わりに文字でユニフォームの番号を尋ねると、正答率はわずか 2% だった。すでに画像の中で再現できる知識を持っているのに、一言の質問に変わるとほとんど答えられないのである。これはまさに、統合型マルチモーダルモデルの技術的ボトルネックの一つを突いている。従来は、画像理解が「見る」役割を担い、画像生成が「描く」役割を担っていた。今やこの二つの能力は次第に同一のアーキテクチャに統合されつつあり、モデルは物体・地図・文字パターンの生成を学習する過程で、言語化されていない大量の視覚情報にも触れることになる。しかし、画像から学んだ知識のどれほどが言語推論に活用されるのか、生成結果を見るだけでは分かりにくい。智谱のこの論文はまさに、知識がモデルに入り込み、さらに呼び出されるという過程に沿って、この問題を解きほぐそうと試みたものである。
01
KTP：答えを画像の中に残す
生成訓練がモデルに新しい知識を教えたかどうかを確認するには、まず既に持っている記憶を回避しなければならない。現実のチームのユニフォームをモデルに生成させると、たとえ番号が正しく描かれていても、それはテキスト資料で以前から読んだことがあるだけの可能性がある。そこで雷峰网の研究者たちは架空の世界 MagicWorld を構築し、一度も存在したことのないエンティティに色・番号・空間関係を割り当て、対象の知識ができるだけ今回の訓練用画像からのみモデルに入るようにした。例えば、架空のユニフォームを Arvenbrock と名付け、番号を 10 に設定した。訓練時、テキストプロンプトはこのユニフォームの生成だけを求め、数字 10 は対象画像にのみ現れる。モデルの訓練完了後、研究者たちは Arvenbrock のユニフォームの番号を直接尋ねた。10 と答えられれば、画像内のエンティティ属性の関連をテキスト回答に持ち込めたと考える根拠になる。このデータセットにはユニフォームだけが含まれているわけではない。チームは色・数量・形状・空間配置・相対的サイズ・数字・文字の 7 種類のタスクを設計し、各種類に 50 件ずつ、合計 350 件の知識を用意し、さらに各エンティティについて異なる背景と視点の画像を作成、ふるい分けの後 8552 組の訓練サンプルを残した。訓練テキストも検査を経て、回答の漏洩や属性分布の偏りによる干渉をできる限り排除した。タスクの違いによって知識の種類の差も引き出せる。形状と色は限られたカテゴリーに属することが多く、空間配置は対象間の位置関係の理解を要求し、ユニフォームの番号や書籍のタイトルは具体的な文字列を記憶する必要がある。この管理された知識群を用いて、研究者たちは 2 つの経路をそれぞれテストした。1 つはモデルに対象画像を再生成させ、画像中の属性を確認する経路、もう 1 つは画像を与えずテキストのみで質問する経路である。前者はモデルが生成過程で関連を再現できるかを測り、後者は関連を直接言語による回答に変換できるかを測る。これにより、モデルがそもそもその属性を学習していないのか、描くことはできるのにテキスト側から呼び出せないのかを区別できる。実験に参加した 3 種類のモデルは異なるアーキテクチャを採用している。BAGEL は理解と生成を比較的独立したエキスパート分岐に置き、SenseNova-U1 は画像ピクセルを直接モデリングし、GLM-Omni は GLM-4.1V-Thinking の事前学習モデルを出発点とし、X-Omni ベースの離散画像 Tokenizer を接続している。研究にはさらに、対象知識と無関係な 10000 件のテキスト質疑応答も加えられ、モデルに回答形式を慣れさせつつ、答えを前もって得られないようにしている。02
描けるのに話せない、問題はどこでつまずいているのか
直接テストで測られたこの差は、ジャージーの事例よりもさらに普遍的である。BAGEL の平均視覚正答率は 31.43%、テキスト回答はわずか 8.86%、GLM-Omni はそれぞれ 54.00% と 14.57%、SenseNova-U1 は 61.14% と 20.00% だった。SenseNova-U1 は番号タスクにおける視覚正答率が 88% に達した一方、テキストのみの回答は 0% だった。画像生成の訓練目標は、名前とプロンプトに基づいて視覚内容を再構成させることである。実体と属性の関連付けが画像の復元に役立つなら訓練を通じて強化され得るが、テキストによる質問応答では、さらに言語出力の経路を辿って対応する属性を見つけ、それを文字や単語に変換しなければならない。パラメータを共有していても、これらの経路が互いに繋がっていることを意味しない。さらに、生成経路でも安定して学習されていない知識もある。例えば、BAGEL と SenseNova-U1 は空間配置タスクにおける視覚正答率がともに 0% であり、したがって後続の訓練では学習不足と読み取りの困難を区別する必要がある。チームはまず Textual Alignment を採用し、一部の実体にテキストによる質問応答を補充して、モデルが少数の例から同種の視覚属性の読み取り方を学べるかを確かめた。各カテゴリ 50 個の実体を 2 つのグループに均等に分けた：全ての実体が画像生成訓練を受け、そのうち 25 個の実体にはさらに各 10 件のテキスト質問応答の例が与えられ、残りの 25 個にはテキスト回答を提供せず、テスト用として残した。モデルは前のグループで学んだ方式を後のグループに適用する必要があり、テストの答えを直接記憶することはできない。結果にはかなり分化が見られた。BAGEL の平均テキスト正答率は 8.86% から 15.43% に上昇し、SenseNova-U1 は 20.00% から 28.00% に上昇したが、GLM-Omni は逆に 14.57% から 12.57% に低下した。SenseNova-U1 の形状タスクは 20% から 68% に増え、相対的な大きさは 100% に達したが、3 つのモデルともテスト実体の数字と書籍タイトルのタスクでは正答率が依然 0% だった。この違いは属性そのものと関係している。形状や大きさには転移可能な分類・比較の規則があり、他の実体の質問応答の例が助けになるが、番号や書名は各実体に固有の文字に対応させる必要があり、回答の文型を学ぶだけでは到底足りない。さらに重要なのは、画像生成とテキスト質問応答が依然として 2 種類の訓練サンプルに分けられており、モデルは絵を描くことと答えることをそれぞれ学んだものの、同一の応答の中で視覚内容から言語の答えへ進む練習をしていないことである。そこで研究チームは、2 種類の教師信号の組織の仕方を変更した。03
画像とテキストを一緒に訓練させる
Interleaved Image–Text Alignment(画像とテキストのインターリーブアライメント)は、画像生成とテキストによる回答を同一の学習シーケンスに組み込む。ジャージの番号に関する質問に直面した場合、モデルはまず該当するジャージを生成し、次に画面内の番号に基づいてテキストの回答を組み立てる。画像再構成の目的と言語による教師信号が同一の実体属性をめぐって機能するため、2種類のタスクをそれぞれ別々に訓練する場合と比べて、訓練プロセスに直接的なつながりが生まれる。雷峰網(公式アカウント:雷峰網)だが、評価条件は変わっていない:訓練時には画像とテキストをインターリーブできるが、テストでは依然として直接テキストで回答することが求められ、その場で画像を生成することはできない。GLM-Omni の平均テキスト正解率は、テキストアライメント段階の 12.57% から 26.86% に向上し、形状タスクは 12% から 64% へ、空間配置は 0% から 40% へ上昇した。BAGEL と SenseNova-U1 の平均値もそれぞれ 17.14% と 28.57% に達した。ただし、一部の色と数量のタスクでは低下が見られ、インターリーブ訓練はまだあらゆる視覚属性に同時に対応できるわけではない。向上は本当に画像による教師信号から来たのか、それとも単にテキスト推論の内容が増えただけなのか?チームは GLM-Omni でアブレーションを実施した:同じインターリーブ応答、テキスト教師信号、および独立した画像生成訓練を維持し、インターリーブサンプル中の画像損失のみを遮蔽した。すると平均テキスト正解率は直ちに 26.86% から 13.71% に落ちた。これは、画像再構成の訓練シグナルが確かに言語の呼び出しに影響を与えたのであって、単にモデルに余分なテキストを見せただけではないことを示している。モデルが具体的にどのパラメータを通じてこの情報を共有しているのかについては、実験ではまだ特定されていない。それでもなお、番号や書名などの知識は安定して直接言語化することが難しい。研究者たちはいっそのこと別の道を選んだ:モデルは答えを描くことのほうが得意なのだから、回答する前にまず一度描いてはどうか?Visual Chain-of-Thought(Visual CoT)は、推論過程で対象の画像を生成し、その画像から属性を識別してから、最後にテキストの質問に答えることを許す。今回、GLM-Omni の平均正解率は 26.86% から 41.14% に上昇し、BAGEL は 17.14% から 20.57% へ、SenseNova-U1 は 28.57% から 34.86% へ上昇した。より顕著なのは数字タスクである:3つのモデルは元々直接テキストで回答した場合の正解率がいずれも 0% だったが、Visual CoT を使用するとそれぞれ 4%、36%、20% に達した。論文のある事例では、SenseNova-U1 がジャージの番号に直接回答した際には誤った 69 を出したが、ジャージの画像を生成してから読み取ると、正しい 31 が得られた。これは新たなトレードオフももたらす。画像の生成は知識検索の中間媒体となり得るが、追加の計算を必要とし、画像の内容に誤りがあれば、答えが誤った方向に導かれる可能性もある。書籍タイトルのタスクは Visual CoT の下でも依然として改善がなく、複雑な文字の生成と読み取りには依然として困難が残る。さらに、実験の知識が管理された架空世界から来ていることを考えると、この路線が現実の動的なシーンでどの程度有効かは、さらなる検証を待つ必要がある。04
統一マルチモーダルにはまだ一つのハードルがある
GLM-Omni が論文とともに発表されたことで、智谱（Zhipu）における視覚理解と生成を統合する方向での社内探索に具体的な技術的詳細が明らかになった。研究における複数回の実験は、生成効果の影に長く隠されていた一つの問題を浮き彫りにした。すなわち、モデルが画像を通じて学んだことは、必ずしもそのまま言語による回答に活かせるとは限らないということだ。画像とテキストを交錯させた訓練は一部の知識のモダリティ間接続を改善し、Visual CoT は必要に応じて生成した画像を通じて情報を再読みさせることを可能にした。統合アーキテクチャへと進み続けるマルチモーダルモデルにとって、今後の課題は画像をうまく描き、問題に正しく答えることだけでなく、異なるタスクで蓄積した知識をいかに有効に相互連携させるかという点にもある。GLM-Omni が今後のいずれかの製品バージョンに搭載されるかどうかは、さらなる公開情報を待つ必要がある。乗って、世界のAIトップ会議のエッセンスをご案内します
独占的にご覧いただけます:
専門家講演PPT
大会報告全文
人気論文解説
学術新星インタビュー
上のQRコードをスキャンしてください
または「閲読原文」をクリックして専区をフォローしてください。
雷峰網（雷鋒網）オリジナル記事、許可なく転載を禁じます。詳細は転載にあたって。