Auteur丨Zheng Jiamei
Rédacteur丨Cen Feng
GLM-Omni, un projet interne de Zhipu, a fait sa première apparition dans un article de recherche. Cette étude a été menée conjointement par l'université Tsinghua et Zhipu AI, avec Tang Jie comme auteur correspondant. À peine le nom du modèle apparu dans l'article, des internautes l'ont associé à GLM-5.5 sur les réseaux sociaux. Bien que l'article ne divulgue pas la correspondance des versions, il décrit la base technique de GLM-Omni ainsi qu'un ensemble de résultats expérimentaux sur la compréhension visuelle unifiée et la génération d'images.Référence :https://arxiv.org/pdf/2610.21459Un ensemble de données est particulièrement frappant : après entraînement à la génération d'images, GLM-Omni parvient, dans la tâche des chiffres, à dessiner correctement le numéro demandé sur un maillot dans 72 % des cas ; mais lorsque les chercheurs retirent l'image et posent la question du numéro du maillot par texte, la précision tombe à 2 %. Ce que le modèle peut reproduire dans une image devient presque impossible à répondre à une simple question. Cela touche précisément un goulot d'étranglement technique des modèles multimodaux unifiés. Autrefois, la compréhension d'images servait à regarder, la génération d'images à dessiner. Aujourd'hui, ces deux capacités entrent progressivement dans une même architecture, et lorsqu'un modèle apprend à générer des objets, des cartes et des motifs textuels, il traite aussi une grande quantité d'informations visuelles non décrites par le langage. Mais quelle proportion de ce qui est appris des images est réellement utilisée par le raisonnement langagier ? Il est difficile de le savoir en se fiant seulement aux résultats de génération. Cet article de Zhipu tente justement de décomposer ce problème en suivant le trajet de la connaissance depuis son entrée dans le modèle jusqu'à son invocation.
01
KTP : laisser la réponse dans l'image
Pour vérifier si l'entraînement à la génération a transmis de nouvelles connaissances au modèle, il faut d'abord contourner sa mémoire existante. Demander au modèle de générer le maillot d'une équipe réelle, même avec le bon numéro, pourrait simplement refléter une lecture antérieure dans des sources textuelles. Leifeng Wang Les chercheurs ont donc construit un monde fictif, MagicWorld, en attribuant couleurs, numéros et relations spatiales à des entités jamais existantes, afin que les connaissances cibles n'entrent dans le modèle qu'à travers les images de cet entraînement. Par exemple, un maillot fictif appelé Arvenbrock porte le numéro 10. Pendant l'entraînement, l'invite textuelle demande seulement de générer ce maillot, le chiffre 10 n'apparaissant que dans l'image cible. Une fois l'entraînement terminé, les chercheurs demandent directement au modèle le numéro du maillot Arvenbrock. S'il répond 10, on peut considérer qu'il a transféré les associations d'attributs des entités vues dans les images vers ses réponses textuelles. Ces données ne se limitent pas aux maillots. L'équipe a conçu 7 types de tâches — couleurs, quantités, formes, dispositions spatiales, tailles relatives, chiffres et textes — avec 50 connaissances chacune, soit 350 au total, puis créé pour chaque entité des images sous différents arrière-plans et angles, ne conservant après sélection que 8552 échantillons d'entraînement. Les textes d'entraînement ont également été vérifiés afin d'exclure au maximum les fuites de réponses et les déséquilibres de distribution des attributs. Les différentes tâches permettent aussi de distinguer les types de connaissances : formes et couleurs relèvent de catégories finies, la disposition spatiale exige de comprendre les relations de position entre objets, tandis que les numéros de maillots et les titres de livres nécessitent de mémoriser des séquences de caractères précises. Forts de ces connaissances contrôlées, les chercheurs ont testé deux voies : l'une où le modèle régénère l'image cible puis vérifie ses attributs, l'autre sans image, par simple question textuelle. La première mesure la capacité du modèle à reproduire les associations lors de la génération, la seconde sa capacité à convertir directement ces associations en réponses linguistiques. Cela permet de distinguer si le modèle n'a pas du tout appris un attribut, ou sait déjà le dessiner sans pouvoir le rappeler depuis le texte. Les trois modèles participant à l'expérience adoptent des architectures différentes. BAGEL place compréhension et génération dans des branches expertes relativement indépendantes, SenseNova-U1 modélise directement les pixels de l'image, tandis que GLM-Omni part du modèle pré-entraîné GLM-4.1V-Thinking et y connecte un tokenizer d'images discret basé sur X-Omni. L'étude ajoute également 10000 questions-réponses textuelles sans rapport avec les connaissances cibles, pour familiariser le modèle avec le format des réponses sans lui révéler les réponses à l'avance.02
Savoir dessiner sans savoir dire : où se situe le blocage
L'écart révélé par les tests directs est encore plus général que le cas des maillots. La précision visuelle moyenne de BAGEL est de 31,43 %, contre seulement 8,86 % en réponse textuelle ; GLM-Omni affiche respectivement 54,00 % et 14,57 %, et SenseNova-U1 61,14 % et 20,00 %. Dans la tâche des numéros, la précision visuelle de SenseNova-U1 atteint même 88 %, tandis que sa réponse purement textuelle est de 0 %. L'objectif d'entraînement de la génération d'images est de reconstruire le contenu visuel à partir d'un nom et d'une invite. Tant que l'association entité-attribut aide à restituer l'image, elle peut être renforcée par l'entraînement ; mais la réponse textuelle exige en plus de retrouver l'attribut correspondant le long du chemin de sortie linguistique et de le convertir en caractères ou en mots. Le partage de paramètres ne signifie pas que ces chemins sont déjà interconnectés. Certaines connaissances ne sont même pas solidement apprises par la voie générative : par exemple, BAGEL et SenseNova-U1 ont tous deux une précision visuelle de 0 % dans la tâche de disposition spatiale, d'où la nécessité, pour la suite de l'entraînement, de distinguer apprentissage insuffisant et difficulté de lecture. L'équipe a d'abord recours au Textual Alignment, en ajoutant des questions-réponses textuelles pour une partie des entités, afin de voir si le modèle peut apprendre, à partir de quelques exemples, comment lire un type d'attributs visuels. Les 50 entités de chaque catégorie sont divisées en deux groupes : toutes suivent l'entraînement à la génération d'images, dont 25 entités reçoivent en plus 10 exemples de questions-réponses textuelles chacune, les 25 restantes n'ayant pas de réponses textuelles et servant au test. Le modèle doit appliquer au second groupe la méthode apprise sur le premier, sans mémoriser directement les réponses du test. Les résultats sont contrastés. La précision textuelle moyenne de BAGEL passe de 8,86 % à 15,43 %, celle de SenseNova-U1 de 20,00 % à 28,00 %, tandis que celle de GLM-Omni chute de 14,57 % à 12,57 %. La tâche des formes de SenseNova-U1 passe de 20 % à 68 %, la taille relative atteint 100 %, mais pour les trois modèles, la précision reste de 0 % sur les tâches des chiffres et des titres de livres pour les entités de test. Cette différence tient aux attributs eux-mêmes. Formes et tailles disposent de règles de classification et de comparaison transférables, et les exemples de questions-réponses sur d'autres entités peuvent aider ; les numéros et titres de livres, en revanche, doivent correspondre aux caractères propres à chaque entité, et apprendre la formule de réponse est loin de suffire. Plus fondamentalement, la génération d'images et les questions-réponses textuelles restent scindées en deux types d'échantillons d'entraînement : le modèle a appris séparément à dessiner et à répondre, sans jamais pratiquer dans une même réponse le passage du contenu visuel à la réponse linguistique. L'étude a donc modifié l'organisation des deux types de supervision.03
Entraîner image et texte ensemble
L'Interleaved Image–Text Alignment (alignement entrelacé image-texte) place la génération d'images et la réponse textuelle dans une même séquence d'entraînement. Face à une question sur le numéro d'un maillot, le modèle génère d'abord le maillot correspondant, puis formule la réponse textuelle d'après le numéro visible dans l'image. L'objectif de reconstruction d'image et la supervision linguistique agissent sur le même attribut d'entité, offrant au processus d'entraînement une articulation directe, contrairement à deux tâches entraînées chacune de son côté. Leifeng Wang (compte officiel : Leifeng Wang) Les conditions d'évaluation, elles, restent inchangées : l'entrelacement image-texte est permis à l'entraînement, mais le test exige toujours une réponse directement textuelle, sans génération d'image à la volée. La précision textuelle moyenne de GLM-Omni passe de 12,57 % lors de la phase d'alignement textuel à 26,86 %, la tâche des formes grimpe de 12 % à 64 % et la disposition spatiale de 0 % à 40 %. Les moyennes de BAGEL et SenseNova-U1 atteignent respectivement 17,14 % et 28,57 %. Cependant, certaines tâches de couleurs et de quantités régressent : l'entraînement entrelacé ne couvre pas encore chaque attribut visuel. L'amélioration vient-elle de la supervision par image, ou simplement d'un contenu de raisonnement textuel accru ? L'équipe a réalisé une ablation sur GLM-Omni : en conservant les mêmes réponses entrelacées, la même supervision textuelle et l'entraînement indépendant à la génération d'images, seule la perte d'image des échantillons entrelacés est masquée. La précision textuelle moyenne chute alors de 26,86 % à 13,71 %. Cela prouve que le signal d'entraînement de la reconstruction d'image influence réellement l'invocation linguistique, et ne se contente pas d'ajouter du texte au modèle. Quant aux paramètres précis par lesquels le modèle partage ces informations, l'expérience ne les a pas encore localisés. Malgré tout, les connaissances comme les numéros et titres de livres restent difficiles à énoncer directement de façon stable. Les chercheurs ont donc changé d'approche : puisque le modèle dessine mieux les réponses, ne pourrait-il pas d'abord dessiner avant de répondre ? Le Visual Chain-of-Thought (Visual CoT) permet de générer l'image cible pendant le raisonnement, d'y reconnaître les attributs, puis de répondre à la question textuelle. Cette fois, la précision moyenne de GLM-Omni passe de 26,86 % à 41,14 %, celle de BAGEL de 17,14 % à 20,57 %, et celle de SenseNova-U1 de 28,57 % à 34,86 %. La tâche des chiffres progresse encore plus nettement : les trois modèles, dont la précision en réponse directement textuelle était de 0 %, atteignent respectivement 4 %, 36 % et 20 % avec le Visual CoT. Dans un cas présenté dans l'article, SenseNova-U1, en répondant directement au numéro du maillot, donne un erroné 69 ; après génération de l'image du maillot puis lecture de celle-ci, il répond le bon numéro : 31. Cela introduit de nouveaux compromis. L'image générée peut servir de support intermédiaire à la récupération des connaissances, mais demande un calcul supplémentaire, et si son contenu est erroné, la réponse peut être induite en erreur. La tâche des titres de livres ne s'améliore toujours pas avec le Visual CoT, la génération et la lecture de caractères complexes restant difficiles. De plus, comme les connaissances expérimentales proviennent d'un monde fictif contrôlé, l'efficacité de cette voie dans des scénarios réels et dynamiques reste à vérifier.04
Le multimodal unifié a encore un obstacle à franchir
L'apparition de GLM-Omni avec cet article donne des détails techniques concrets sur l'exploration interne de Zhipu dans la compréhension et la génération visuelles unifiées. Les différentes expériences de l'étude mettent en lumière un problème longtemps masqué par les résultats de génération : ce que le modèle apprend par les images n'est pas nécessairement directement utilisable dans les réponses linguistiques. L'entraînement entrelacé image-texte améliore les connexions intermodales pour une partie des connaissances, et le Visual CoT permet au modèle, au besoin, de relire l'information via une image générée. Pour les modèles multimodaux poursuivant vers une architecture unifiée, les défis à venir, au-delà de bien dessiner et de bien répondre, incluent la façon de faire circuler efficacement les connaissances accumulées par les différentes tâches. Quant à savoir si GLM-Omni intégrera une future version d'un produit, il faudra attendre davantage d'informations publiques.Montez à bord, et parcourez avec nous le meilleur des grands congrès mondiaux de l'IA
Accès exclusif à :
PPT des interventions d'experts
Textes intégraux des rapports des congrès
Décryptages des articles les plus populaires
Entretiens avec les nouvelles étoiles académiques
Scannez le QR code ci-dessus
ou cliquez sur « Lire l'article original » pour suivre la rubrique.
Article original de Leifeng Wang, reproduction interdite sans autorisation. Voir les détails dansles conditions de republication。