Autorin: Zheng Jiamei
Redaktion: Cen Feng
Zhipus internes GLM-Omni hat zunächst in einem wissenschaftlichen Papier seinen Auftritt gehabt. Diese Studie wurde gemeinsam von der Tsinghua-Universität und Zhipu AI erstellt, Tang Jie fungierte als korrespondierender Autor. Kaum war der Modellname im Papier erschienen, brachten ihn Leute in sozialen Medien mit GLM-5.5 in Verbindung. Obwohl das Papier keine Versionszuordnung preisgibt, liefert es die technische Grundlage von GLM-Omni sowie eine Reihe von Experimentierergebnissen zu dessen vereinheitlichtem visuellem Verstehen und zur Bildgenerierung.Referenzlink:https://arxiv.org/pdf/2610.21459Ein Datensatz sticht besonders hervor: Nach dem Training zur Bildgenerierung erreichte GLM-Omni bei den Zahlenaufgaben in 72 % der Fälle, die vorgegebene Nummer korrekt auf das Trikot zu malen; nahmen die Forscher das Bild weg und fragten stattdessen per Text nach der Trikotnummer, lag die Erfolgsquote aber nur bei 2 %. Wissen, das das Modell bereits im Bild reproduzieren kann, kann auf eine einzige Frage hin kaum beantwortet werden. Das trifft genau einen technischen Engpass vereinheitlichter multimodaler Modelle. Früher war das Bildverstehen für das Sehen zuständig, die Bildgenerierung für das Malen. Heute wandern beide Fähigkeiten zunehmend in dieselbe Architektur, und das Modell kommt beim Erlernen der Generierung von Objekten, Karten und Schriftmustern auch mit zahlreichen visuellen Informationen in Berührung, die sprachlich nicht beschrieben werden. Doch wie viel davon, was im Bild gelernt wurde, tatsächlich von der sprachlichen Inferenz genutzt wird, lässt sich allein am Generierungsergebnis schwer erkennen. Genau entlang des Prozesses, wie Wissen ins Modell gelangt und dann abgerufen wird, versucht der vorliegende Beitrag von Zhipu, diese Frage aufzudröseln.
01
KTP: Die Antwort im Bild lassen
Um zu prüfen, ob das Generierungstraining dem Modell neues Wissen vermittelt hat, muss man zunächst an dessen bereits vorhandenes Erinnern vorbeikommen. Lässt man das Modell Trikots realer Teams generieren, könnte es die Nummer selbst dann korrekt malen, nur weil es sie bereits in Textquellen gelesen hat. Leifeng Wang. Die Forscher bauten daher eine fiktive Welt namens MagicWorld auf, verpassten nie dagewesenen Entitäten Farben, Nummern und räumliche Beziehungen, sodass das Zielwissen möglichst nur über die diesmal trainierten Bilder ins Modell gelangte. So heißt zum Beispiel ein fiktives Trikot Arvenbrock, die Nummer ist 10. Beim Training forderte der Textprompt nur die Generierung dieses Trikots, die Zahl 10 erschien ausschließlich im Zielbild. Nach Abschluss des Trainings fragten die Forscher direkt nach der Trikotnummer von Arvenbrock. Konnte es 10 antworten, bestand Grund zur Annahme, dass es die aus dem Bild mitgebrachten Entitätseigenschaften-Verknüpfungen in die Textantwort übernommen hatte. Diese Daten umfassen nicht nur Trikots. Das Team entwarf 7 Aufgabenkategorien – Farben, Mengen, Formen, räumliche Anordnung, relative Größe, Zahlen und Text – mit jeweils 50 Wissenselementen, insgesamt 350, und fertigte für jede Entität Bilder mit unterschiedlichen Hintergründen und Perspektiven an; nach der Auswahl blieben 8552 Trainingssamples übrig. Auch die Trainingstexte wurden geprüft, um Störungen durch Antwortlecks und ungleichmäßig verteilte Eigenschaften möglichst auszuschließen. Die verschiedenen Aufgaben sorgen zudem für Abstand bei den Wissenstypen: Formen und Farben gehören oft zu endlichen Kategorien, räumliche Anordnung verlangt das Verstehen der Lagebeziehungen zwischen Objekten, und Trikotnummern sowie Buchtitel erfordern das Merken konkreter Zeichenfolgen. Mit diesem kontrollierten Wissen testeten die Forscher zwei Wege: Einer ließ das Modell das Zielbild neu generieren und prüfte anschließend die Eigenschaften im Bild, beim anderen gab es kein Bild, sondern nur eine Textfrage. Ersteres misst, ob das Modell die Verknüpfungen im Generierungsprozess reproduzieren kann, letzteres, ob es die Verknüpfung direkt in eine sprachliche Antwort überführen kann. So lässt sich unterscheiden, ob das Modell eine Eigenschaft gar nicht gelernt hat oder sie bereits malen kann, sie aber auf der Textseite nicht abrufen kann. Die drei am Experiment beteiligten Modelle nutzen unterschiedliche Architekturen. BAGEL platziert Verstehen und Generierung in relativ eigenständigen Expertenbranchen, SenseNova-U1 modelliert Bildpixel direkt, während GLM-Omni vom vortrainierten Modell GLM-4.1V-Thinking ausgeht und einen auf X-Omni basierenden diskreten Bild-Tokenizer anschließt. Die Studie fügte zudem 10000 Textfragen und Antworten hinzu, die vom Zielwissen unabhängig waren, damit das Modell die Antwortform vertraut lernt, ohne die Antworten vorzeitig zu erhalten.02
Kann malen, aber nicht sagen – wo hakt es?
Die direkt gemessenen Unterschiede sind allgemeiner als der Trikot-Fall. BAGELs durchschnittliche visuelle Genauigkeit beträgt 31,43 %, die Textantwort nur 8,86 %; GLM-Omni erreicht 54,00 % bzw. 14,57 %; SenseNova-U1 61,14 % und 20,00 %. SenseNova-U1 lag bei der Nummernaufgabe visuell sogar bei 88 %, bei der reinen Textantwort jedoch bei 0 %. Das Trainingsziel der Bildgenerierung ist, das Modell visuelle Inhalte anhand von Namen und Prompts rekonstruieren zu lassen. Solange die Verknüpfung von Entität und Eigenschaft hilft, das Bild wiederherzustellen, kann sie durch das Training verstärkt werden; bei Textfragen und Antworten muss aber entlang des sprachlichen Ausgabepfads die entsprechende Eigenschaft gefunden und in Zeichen oder Wörter überführt werden. Geteilte Parameter bedeuten nicht, dass diese Pfade bereits miteinander verbunden sind. Manches Wissen ist nicht einmal auf dem Generierungspfad stabil gelernt – etwa liegen BAGEL und SenseNova-U1 bei der räumlichen Anordnung visuell bei jeweils 0 % –, weshalb das weitere Training zwischen Unterlernen und Abrufschwierigkeiten unterscheiden muss. Das Team verwendete zunächst Textual Alignment und ergänzte für einige Entitäten Textfragen und Antworten, um zu sehen, ob das Modell aus wenigen Beispielen lernen kann, wie man solche visuellen Eigenschaften abliest. Die jeweils 50 Entitäten pro Kategorie wurden in zwei Gruppen geteilt: Alle erhielten Bildgenerierungstraining, davon bekamen 25 Entitäten zusätzlich je 10 Textfrage-Antwort-Beispiele, die restlichen 25 erhielten keine Textantworten und dienten als Test. Das Modell musste die in der ersten Gruppe gelernte Art auf die zweite Gruppe übertragen, ohne die Testantworten direkt auswendig zu lernen. Die Ergebnisse fielen unterschiedlich aus. BAGELs durchschnittliche Textgenauigkeit stieg von 8,86 % auf 15,43 %, SenseNova-U1 von 20,00 % auf 28,00 %, GLM-Omni jedoch sank von 14,57 % auf 12,57 %. SenseNova-U1 verbesserte sich bei der Formenaufgabe von 20 % auf 68 %, bei der relativen Größe auf 100 %; doch bei den Zahlen- und Buchtitelaufgaben der Testentitäten lag die Genauigkeit aller drei Modelle weiterhin bei 0 %. Diese Unterschiede hängen mit den Eigenschaften selbst zusammen. Formen und Größen folgen übertragbaren Klassifizierungs- und Vergleichsregeln, Fragen- und Antwortbeispiele anderer Entitäten können helfen; Nummern und Buchtitel hingegen verlangen die Zuordnung zu zeichenfolgenspezifischen Details, und das bloße Erlernen des Antwortmusters reicht bei weitem nicht aus. Entscheidender ist: Bildgenerierung und Textfragen-Antworten werden weiterhin als zwei getrennte Trainingssamples behandelt; das Modell hat Malen und Antworten jeweils für sich gelernt, aber nie innerhalb derselben Antwort den Weg vom visuellen Inhalt zur sprachlichen Lösung geübt. Die Studie änderte daher die Art der Organisation beider Supervisionen.03
Bild und Text gemeinsam trainieren
Interleaved Image–Text Alignment (verschränkte Bild-Text-Ausrichtung) bringt Bildgenerierung und Textantworten in dieselbe Trainingssequenz. Bei einer Trikotnummern-Frage generiert das Modell zunächst das entsprechende Trikot und formuliert dann anhand der im Bild sichtbaren Nummer die Textantwort. Das Bildrekonstruktionsziel und die sprachliche Supervision wirken auf dieselbe Entitätseigenschaft; verglichen mit zwei getrennt trainierten Aufgaben entsteht im Trainingsprozess eine direkte Verbindung. Leifeng Wang (Öffentlicher Account: Leifeng Wang). Die Evaluationsbedingungen blieben unverändert: Beim Training darf Bild und Text verschränkt sein, beim Test ist weiterhin eine direkte Textantwort ohne vorläufige Bildgenerierung erforderlich. GLM-Omnis durchschnittliche Textgenauigkeit stieg von 12,57 % in der Textausrichtungsphase auf 26,86 %, die Formenaufgabe von 12 % auf 64 %, die räumliche Anordnung von 0 % auf 40 %. Auch die Durchschnittswerte von BAGEL und SenseNova-U1 erreichten 17,14 % bzw. 28,57 %. Allerdings gab es bei einigen Farb- und Mengenaufgaben Rückschläge; das verschränkte Training kann noch nicht jede visuelle Eigenschaft abdecken. Stammt die Verbesserung aus der Bildsupervision oder nur aus vermehrtem sprachlichen Schließen? Das Team führte bei GLM-Omni eine Ablation durch: Es behielt dieselben verschränkten Antworten, die Textsupervision und das separate Bildgenerierungstraining bei, blockierte aber nur den Bildverlust in den verschränkten Samples. Die durchschnittliche Textgenauigkeit fiel daraufhin von 26,86 % auf 13,71 %. Das zeigt, dass das Trainingssignal der Bildrekonstruktion tatsächlich den sprachlichen Abruf beeinflusst und dem Modell nicht einfach nur mehr Text zum Lesen gegeben wurde. Über welche Parameter das Modell diese Informationen konkret teilt, wurde in den Experimenten noch nicht lokalisiert. Trotzdem bleiben Nummern, Buchtitel und ähnliches Wissen schwer direkt aussprechbar. Die Forscher nahmen daher einen anderen Weg: Wenn das Modell Antworten besser malen kann – sollte es vor der Antwort nicht erst einmal zeichnen? Visual Chain-of-Thought (Visual CoT) erlaubt, im Inferenzverlauf das Zielbild zu generieren, daraus die Eigenschaft zu erkennen und zuletzt die Textfrage zu beantworten. Diesmal stieg GLM-Omnis durchschnittliche Genauigkeit von 26,86 % auf 41,14 %, BAGEL von 17,14 % auf 20,57 %, SenseNova-U1 von 28,57 % auf 34,86 %. Deutlicher war der Sprung bei den Zahlenaufgaben: Alle drei Modelle lagen bei direkter Textantwort zuvor bei 0 %; mit Visual CoT erreichten sie 4 %, 36 % bzw. 20 %. In einem Fall im Papier gab SenseNova-U1 bei direkter Beantwortung der Trikotnummern-Frage die falsche 69 an; nach Generierung des Trikotbildes und erneutem Ablesen antwortete es korrekt mit 31. Das bringt neue Abwägungen mit sich. Generierte Bilder können als Zwischenträger für Wissensabfragen dienen, erfordern aber zusätzlichen Rechenaufwand, und wenn der Bildinhalt falsch ist, kann auch die Antwort in die Irre geführt werden. Die Buchtitelaufgabe verbesserte sich auch mit Visual CoT nicht; die Generierung und das Ablesen komplexer Zeichen bleiben schwierig. Da zudem das Experimentierwissen aus einer kontrollierten fiktiven Welt stammt, bleibt die Wirksamkeit dieses Ansatzes in realen dynamischen Szenarien noch zu überprüfen.04
Die vereinheitlichte Multimodalität hat noch eine Hürde
GLM-Omnis Auftritt im Papier verleiht Zhipus interner Erforschung der vereinheitlichten visuellen Verstehens- und Generierungsrichtung konkrete technische Details. Die mehreren Experimentierrunden der Studie legen zudem ein lange durch die Generierungsergebnisse verdecktes Problem offen: Was ein Modell über Bilder lernt, lässt sich nicht zwangsläufig direkt für sprachliche Antworten nutzen. Das verschränkte Bild-Text-Training verbesserte die übermodalen Verbindungen eines Teils des Wissens, und Visual CoT erlaubt dem Modell, bei Bedarf über generierte Bilder Informationen neu abzulesen. Für multimodale Modelle auf dem weiteren Weg zur vereinheitlichten Architektur gehören zu den künftigen Schwierigkeiten neben dem guten Malen und richtigen Antworten auch die Frage, wie das von verschiedenen Aufgaben angesammelte Wissen effektiv ausgetauscht werden kann. Ob GLM-Omni in eine bestimmte nachfolgende Produktversion einfließen wird, muss die Zeit zeigen; dazu sind weitere öffentliche Informationen nötig.Steig ein und erlebe mit uns die Höhepunkte der weltweiten Top-KI-Konferenzen
Exklusiv verfügbar:
Präsentationsfolien von Experten
Volltexte der Konferenzberichte
Erklärungen populärer Paper
Interviews mit aufstrebenden Wissenschaftstalenten
Scanne den QR-Code oben
oder klicke auf „Originaltext lesen“, um dem Themenbereich zu folgen.
Originalartikel von Leifeng Wang, Nachdruck ohne Genehmigung verboten. Details sieheNachdruckhinweise。