Autora: Zheng Jiamei
Editor: Cen Feng
GLM-Omni, el modelo interno de Zhipu, apareció primero en un artículo académico. Esta investigación fue realizada conjuntamente por la Universidad de Tsinghua y Zhipu AI, con Tang Jie como autor de correspondencia. Apenas apareció el nombre del modelo en el artículo, usuarios en redes sociales ya lo vincularon con GLM-5.5. Aunque el artículo no revela la correspondencia de versiones, sí presenta la base técnica de GLM-Omni, así como un conjunto de resultados experimentales sobre su comprensión visual y generación de imágenes unificadas.Enlace de referencia:https://arxiv.org/pdf/2610.21459Uno de los conjuntos de datos resulta especialmente llamativo: tras el entrenamiento en generación de imágenes, GLM-Omni logró pintar correctamente el número indicado en la camiseta en el 72% de los casos en tareas de dígitos, pero cuando los investigadores retiraron la imagen y preguntaron por el número de la camiseta mediante texto, la precisión fue de apenas el 2%. Conocimientos que el modelo ya puede reproducir en una imagen, formulados como una simple pregunta, casi no puede responderlos. Esto toca precisamente un cuello de botella técnico de los modelos multimodales unificados. Antes, la comprensión de imágenes se encargaba de ver y la generación de imágenes de dibujar. Hoy ambas capacidades entran gradualmente en una misma arquitectura, y al aprender a generar objetos, mapas y patrones de texto, el modelo también procesa gran cantidad de información visual no descrita por el lenguaje. Pero cuánto de lo aprendido en las imágenes puede ser utilizado por el razonamiento lingüístico es difícil de saber solo mirando los resultados de generación. El artículo de Zhipu precisamente intenta descomponer esta pregunta siguiendo el proceso de cómo el conocimiento entra en el modelo y luego es invocado.
01
KTP: dejar la respuesta dentro de la imagen
Para confirmar si el entrenamiento de generación ha enseñado nuevos conocimientos al modelo, primero hay que sortear su memoria previa. Si se pide al modelo generar la camiseta de un equipo real, aunque pinte bien el número, podría deberse simplemente a que ya lo leyó en textos. Lei Feng Wang Por eso los investigadores construyeron un mundo ficticio llamado MagicWorld, asignando colores, números y relaciones espaciales a entidades que nunca existieron, para que el conocimiento objetivo entre en el modelo, en la medida de lo posible, solo a través de las imágenes de este entrenamiento. Por ejemplo, una camiseta ficticia se llama Arvenbrock, con el número 10. Durante el entrenamiento, la instrucción de texto solo pide generar esa camiseta, y el número 10 aparece únicamente en la imagen objetivo. Una vez completado el entrenamiento, los investigadores preguntan directamente el número de la camiseta de Arvenbrock. Si responde 10, hay motivos para pensar que llevó las asociaciones de atributos de entidades de la imagen a su respuesta de texto. Este conjunto de datos no incluye solo camisetas. El equipo diseñó 7 tipos de tareas: color, cantidad, forma, disposición espacial, tamaño relativo, números y texto, con 50 conocimientos por tipo, 350 en total, y creó para cada entidad imágenes con distintos fondos y ángulos; tras filtrar quedaron 8552 muestras de entrenamiento. Los textos de entrenamiento también fueron revisados para minimizar interferencias por filtración de respuestas y distribuciones desiguales de atributos. Las distintas tareas también permiten diferenciar tipos de conocimiento: formas y colores suelen pertenecer a categorías finitas, la disposición espacial exige comprender relaciones de posición entre objetos, y los números de camiseta y títulos de libros requieren memorizar secuencias específicas de caracteres Con este conocimiento controlado, los investigadores probaron dos rutas por separado: una pide al modelo regenerar la imagen objetivo y luego verificar los atributos en ella; la otra no ofrece imagen, solo preguntas de texto. La primera mide si el modelo puede reproducir las asociaciones durante la generación; la segunda, si puede convertirlas directamente en respuestas lingüísticas. Así se distingue si el modelo no aprendió cierto atributo, o si ya sabe dibujarlo pero no puede invocarlo desde el texto. Los tres modelos participantes usan arquitecturas distintas. BAGEL coloca la comprensión y la generación en ramas de expertos relativamente independientes, SenseNova-U1 modela directamente los píxeles de la imagen, y GLM-Omni parte del modelo preentrenado GLM-4.1V-Thinking, conectándolo a un Tokenizer de imagen discreto basado en X-Omni. La investigación también añadió 10000 preguntas y respuestas de texto ajenas al conocimiento objetivo, para familiarizar al modelo con el formato de respuesta sin adelantarle las respuestas.02
Sabe dibujar pero no decirlo: ¿dónde está el problema?
La brecha medida directamente en las pruebas es más general que el caso de la camiseta. La precisión visual media de BAGEL fue del 31,43%, pero solo del 8,86% en respuestas de texto; GLM-Omni obtuvo 54,00% y 14,57% respectivamente, y SenseNova-U1, 61,14% y 20,00%. En la tarea de números, la precisión visual de SenseNova-U1 llegó incluso al 88%, mientras que su respuesta puramente textual fue del 0%. El objetivo de entrenamiento de la generación de imágenes es que el modelo reconstruya el contenido visual a partir de nombres e instrucciones. Mientras la asociación entre entidad y atributo ayude a reconstruir la imagen, se refuerza mediante el entrenamiento; pero la respuesta textual exige además recorrer la ruta de salida del lenguaje hasta encontrar el atributo correspondiente y convertirlo en caracteres o palabras. Compartir parámetros no significa que esas rutas ya estén conectadas. Hay conocimientos que ni siquiera se aprendieron con solidez en la ruta de generación: por ejemplo, BAGEL y SenseNova-U1 tuvieron una precisión visual del 0% en la tarea de disposición espacial, por lo que el entrenamiento posterior debe distinguir entre aprendizaje insuficiente y dificultad de lectura. El equipo adoptó primero Alineación Textual (Textual Alignment), añadiendo preguntas y respuestas de texto para algunas entidades, a ver si el modelo aprende con pocos ejemplos cómo leer ese tipo de atributos visuales. Las 50 entidades de cada tipo se dividieron en dos grupos: todas recibieron entrenamiento en generación de imágenes, y 25 de ellas recibieron además 10 ejemplos de preguntas y respuestas textuales cada una; las 25 restantes no recibieron respuestas textuales y quedaron como prueba. El modelo debía aplicar al segundo grupo lo aprendido con el primero, sin memorizar directamente las respuestas de prueba. Los resultados mostraron una fuerte divergencia. La precisión textual media de BAGEL subió del 8,86% al 15,43%, la de SenseNova-U1 del 20,00% al 28,00%, pero la de GLM-Omni cayó del 14,57% al 12,57%. En la tarea de formas, SenseNova-U1 pasó del 20% al 68%, y en tamaño relativo alcanzó el 100%; sin embargo, en las tareas de números y títulos de libros sobre las entidades de prueba, la precisión de los tres modelos siguió siendo del 0%. Esta diferencia se relaciona con la naturaleza del atributo. Las formas y los tamaños tienen reglas de clasificación y comparación transferibles, por lo que los ejemplos de otras entidades ayudan; los números y títulos de libros, en cambio, requieren corresponder a caracteres únicos de cada entidad, y aprender el formato de la respuesta es insuficiente. Más importante aún: la generación de imágenes y las respuestas textuales seguían divididas en dos tipos de muestras de entrenamiento; el modelo aprendió por separado a dibujar y a responder, pero no practicó en una misma respuesta el paso del contenido visual a la respuesta lingüística. La investigación modificó entonces la forma de organizar ambos tipos de supervisión.03
Entrenar imagen y texto juntos
La Alineación Intercalada de Imagen y Texto (Interleaved Image–Text Alignment) coloca la generación de imágenes y la respuesta de texto en una misma secuencia de entrenamiento. Ante una pregunta sobre el número de una camiseta, el modelo primero genera la camiseta correspondiente y luego organiza la respuesta de texto según el número en la imagen. El objetivo de reconstrucción de imagen y la supervisión lingüística actúan sobre el mismo atributo de entidad, lo que añade una conexión directa al proceso de entrenamiento en comparación con practicar ambas tareas por separado. Lei Feng Wang (cuenta oficial: Lei Feng Wang) Las condiciones de evaluación no cambiaron: durante el entrenamiento puede haber imagen y texto intercalados, pero en las pruebas se exige una respuesta directa de texto, sin poder generar imágenes sobre la marcha. La precisión textual media de GLM-Omni pasó del 12,57% en la fase de alineación textual al 26,86%, la tarea de formas subió del 12% al 64%, y la de disposición espacial del 0% al 40%. Los promedios de BAGEL y SenseNova-U1 alcanzaron 17,14% y 28,57% respectivamente. Sin embargo, algunas tareas de color y cantidad retrocedieron, y el entrenamiento intercalado aún no puede cubrir todos los atributos visuales. ¿La mejora proviene de la supervisión de imagen, o simplemente de añadir contenido de razonamiento textual? El equipo hizo una ablación en GLM-Omni: conservando las mismas respuestas intercaladas, la supervisión textual y el entrenamiento independiente de generación de imágenes, solo se enmascaró la pérdida de imagen en las muestras intercaladas. La precisión textual media cayó de inmediato del 26,86% al 13,71%. Esto demuestra que la señal de entrenamiento de la reconstrucción de imagen sí influye en la invocación lingüística, y no se limita a dar al modelo más texto que leer. En cuanto a qué parámetros concretos comparten esta información, el experimento aún no lo ha localizado. Aun así, conocimientos como números y títulos de libros siguen siendo difíciles de enunciar directamente de forma estable. Los investigadores optaron por otra vía: ya que el modelo es mejor dibujando la respuesta, ¿por qué no dibujarla primero antes de responder? La Cadena de Pensamiento Visual (Visual Chain-of-Thought, Visual CoT) permite generar la imagen objetivo durante el razonamiento, luego identificar los atributos en la imagen y finalmente responder la pregunta de texto. Esta vez la precisión media de GLM-Omni subió del 26,86% al 41,14%, la de BAGEL del 17,14% al 20,57%, y la de SenseNova-U1 del 28,57% al 34,86%. Más notable fue la tarea de números: la precisión de los tres modelos con respuesta directa de texto era del 0%, y con Visual CoT alcanzó 4%, 36% y 20% respectivamente. En un caso del artículo, SenseNova-U1, al responder directamente el número de la camiseta, dio un 69 incorrecto; al generar la imagen de la camiseta y leerla después, respondió el 31 correcto. Esto trae también nuevos dilemas. La imagen generada puede servir de vehículo intermedio para la recuperación de conocimiento, pero exige cálculo adicional, y si el contenido de la imagen es erróneo, la respuesta puede desviarse. La tarea de títulos de libros no mejoró ni con Visual CoT: la generación y lectura de caracteres complejos sigue siendo difícil. Además, como el conocimiento experimental proviene de un mundo ficticio controlado, la efectividad de esta ruta en escenarios reales y dinámicos queda pendiente de mayor verificación.04
El multimodal unificado todavía tiene un obstáculo
La aparición de GLM-Omni junto con el artículo brinda detalles técnicos concretos sobre la exploración interna de Zhipu en la dirección de comprensión y generación visual unificadas. Los sucesivos experimentos de la investigación plantean un problema que durante mucho tiempo fue ocultado por los resultados de generación: lo que el modelo aprende a través de las imágenes no siempre puede usarse directamente en respuestas lingüísticas. El entrenamiento intercalado de imagen y texto mejoró la conexión transmodal de parte del conocimiento, y Visual CoT permite al modelo volver a leer la información mediante imágenes generadas cuando es necesario. Para los modelos multimodales que siguen avanzando hacia arquitecturas unificadas, el próximo desafío, además de dibujar bien y responder correctamente, es cómo hacer que los conocimientos acumulados en distintas tareas se comuniquen eficazmente. En cuanto a si GLM-Omni entrará en alguna versión posterior de producto, hará falta más información pública.Sube a bordo y te mostramos lo mejor de las grandes cumbres mundiales de IA
Acceso exclusivo para disfrutar:
Presentaciones PPT de expertos
Textos completos de las ponencias de los congresos
Interpretaciones de los artículos más populares
Entrevistas a nuevas estrellas académicas
Escanea el código QR de arriba
o haz clic en «Leer el original» para seguir la sección.
Artículo original de Lei Feng Wang; prohibida su reproducción sin autorización. Para más detalles, consultelas normas de reproducción。