الكاتب: تشنغ جيامي
تحرير: تشين فنغ
ظهر GLM-Omني الداخلي من شركة Zhipu لأول مرة في ورقة بحثية. أُنجزت هذه الدراسة بشكل مشترك بين جامعة تسينغهوا وشركة Zhipu AI، ويتولى تانغ جي منصب المؤلف المراسل. وبمجرد ظهور اسم النموذج في الورقة، بدأ بعض المستخدمين على منصات التواصل الاجتماعي بربطه بـ GLM-5.5. ورغم أن الورقة لم تكشف عن العلاقة بين الإصدارات، إلا أنها قدّمت الأساس التقني لـ GLM-Omني، بالإضافة إلى مجموعة من النتائج التجريبية حول قدرته في فهم الصور وتوليدها بشكل موحد.الرابط المرجعي:https://arxiv.org/pdf/2610.21459إحدى هذه المجموعات من البيانات لافتة للنظر بشكل خاص: بعد التدريب على توليد الصور، بلغت نسبة نجاح GLM-Omni في المهام الرقمية، أي رسم الرقم المحدد بشكل صحيح على قميص كرة القدم، 72%، أما عندما أزال الباحثون الصورة وسألوا عن رقم القميص نصيًا، فلم تتجاوز نسبة الإجابة الصحيحة 2%. المعرفة التي تمكن النموذج بالفعل من إعادة إنتاجها داخل الصورة، يكاد يعجز عن ذكرها عند سؤاله بجملة واحدة. وهنا تكمن نقطة عنق زجاجة تقنية في النماذج متعددة الوسائط الموحدة. في الماضي، كان فهم الصور مسؤولًا عن الرؤية، وتوليد الصور مسؤولًا عن الرسم. أما اليوم، فتدخل القدرتان تدريجيًا في بنية واحدة، وعندما يتعلم النموذج توليد الأجسام والخرائط والأنماط النصية، يتعامل أيضًا مع كمية كبيرة من المعلومات البصرية التي لم تُوصف لغويًا. ولكن، ما مقدار ما يُتعلم من الصور والذي تستخدمه الاستدلالات اللغوية فعليًا؟ يصعب معرفته بمجرد النظر إلى نتائج التوليد. وتحاول هذه الورقة البحثية من Zhipu تفكيك هذه المشكلة من خلال تتبع مسار المعرفة من دخولها إلى النموذج حتى استدعائها.
01
KTP: اترك الإجابة في الصورة
للتحقق مما إذا كان التدريب على التوليد قد علّم النموذج معرفة جديدة، يجب أولاً تجاوز ذاكرته الموجودة مسبقاً. فعند مطالبة النموذج بتوليد قمصان فرق حقيقية، حتى لو رسم الأرقام بشكل صحيح، فقد يكون ذلك لمجرد أنه قرأ عنها سابقاً في المواد النصية. لذلك بنى باحثو雷峰网 عالماً خيالياً اسمه MagicWorld، وخصصوا لأكياس غير موجودة قط ألواناً وأرقاماً وعلاقات مكانية، بحيث تدخل المعرفة المستهدفة إلى النموذج قدر الإمكان فقط من صور هذا التدريب. فعلى سبيل المثال، قميص خيالي يُدعى Arvenbrock، تم تحديد رقمه بـ 10. وأثناء التدريب، طلب النص التوجيهي فقط توليد هذا القميص، وظل الرقم 10 يظهر فقط في الصورة المستهدفة. وبعد اكتمال تدريب النموذج، سأله الباحثون مباشرة عن رقم قميص Arvenbrock. فإذا أجاب بـ 10، كان هناك سبب للاعتقاد بأنه نقل ارتباطات خصائص الكيانات من الصور إلى إجاباته النصية. وهذه البيانات لا تقتصر على القمصان؛ إذ صمم الفريق 7 فئات من المهام تشمل الألوان والكميات والأشكال والترتيب المكاني والأحجام النسبية والأرقام والنصوص، بواقع 50 معرفة لكل فئة، بإجمالي 350 معرفة، ثم صنعوا لكل كيان صوراً بخلفيات وزوايا مختلفة، وبعد الفرز بقيت 8552 مجموعة من عينات التدريب. كما فُحصت نصوص التدريب لاستبعاد التداخلات الناتجة عن تسرب الإجابات أو عدم توازن توزيع الخصائص قدر الإمكان. وتتيح المهام المختلفة أيضاً إظهار الفروق بين أنواع المعرفة: فالأشكال والألوان تنتمي غالباً إلى فئات محدودة، والترتيب المكاني يتطلب فهماً للعلاقات الموضعية بين الأجسام، بينما تتطلب أرقام القمصان وعناوين الكتب حفظ متتابعات رمزية محددة. وبامتلاك هذه المعرفة المضبوطة، اختبر الباحثون مسارين: مسار يُعيد فيه النموذج توليد الصورة المستهدفة ثم يُفحص مستوى خصائصها، ومسار آخر لا تُقدَّم فيه صور بل يُسأل بالنص فقط. يقيس الأول قدرة النموذج على إعادة إنتاج الارتباطات أثناء التوليد، ويقيس الثاني قدرته على تحويل الارتباطات مباشرة إلى إجابات لغوية. وبهذا يمكن التمييز بين أن النموذج لم يتعلم خاصية ما أصلاً، أو أنه يعرف رسمها لكنه عاجز عن استدعائها من الجانب النصي. واستخدمت النماذج الثلاثة المشاركة في التجربة بنى مختلفة: يضع BAGEL الفهم والتوليد في فرعين خبيرين مستقلين نسبياً، ويبني SenseNova-U1 نمذجة مباشرة لبكسلات الصورة، بينما ينطلق GLM-Omni من النموذج المدرب مسبقاً GLM-4.1V-Thinking ويضيف إليه مُرمِّز صور رمزية منفصلة مبني على X-Omni. كما أضاف البحث 10000 سؤال وجواب نصي لا علاقة له بالمعرفة المستهدفة، ليألف النموذج شكل الإجابة دون أن يحصل على الإجابات مسبقاً.02
يعرف كيف يرسم لكنه لا يعرف كيف يتحدث: أين تكمن المشكلة بالضبط؟
الفجوة التي تظهر في الاختبار المباشر أكثر شيوعاً من حالة القميص. بلغ متوسط الدقة البصرية لـ BAGEL 31.43%، بينما الإجابات النصية 8.86% فقط، وسجّل GLM-Omni 54.00% و14.57% على التوالي، فيما بلغت النسب لدى SenseNova-U1 61.14% و20.00%. بل وصلت الدقة البصرية لـ SenseNova-U1 في مهمة الأرقام إلى 88%، لكن الإجابات النصية الخالصة كانت 0%. الهدف التدريبي لتوليد الصور هو تمكين النموذج من إعادة بناء المحتوى البصري بناءً على الاسم والتوجيهات. وما دامت العلاقة بين الكيان والخاصية تساعد في استرجاع الصورة، فيمكن تعزيزها عبر التدريب، أما الإجابة على الأسئلة النصية فتتطلب سلوك مسار المخرجات اللغوية للعثور على الخاصية المقابلة وتحويلها إلى محارف أو كلمات. مشاركة المعاملات لا تعني أن هذه المسارات قد اتصلت ببعضها فعلاً. كما أن بعض المعارف لم تترسّخ حتى في مسار التوليد، فمثلاً بلغت الدقة البصرية لكل من BAGEL وSenseNova-U1 في مهام الترتيب المكاني 0%، ولذلك يحتاج التدريب اللاحق إلى التمييز بين نقص التعلم وصعوبة الاسترجاع. اعتمد الفريق أولاً أسلوب Textual Alignment، حيث أضاف أسئلة نصية لبعض الكيانات ليرى هل يستطيع النموذج أن يتعلم من أمثلة قليلة كيف يسترجع الخصائص البصرية من النوع نفسه. قُسّمت كل فئة من 50 كياناً إلى مجموعتين متساويتين: الخضوع جميعاً لتدريب توليد الصور، مع حصول 25 كياناً منها على 10 أمثلة نصية لكل كيان، بينما لا تُقدَّم إجابات نصية للـ 25 كياناً المتبقين وتُترك للاختبار. ويتعيّن على النموذج تطبيق الأسلوب الذي تعلّمه في المجموعة الأولى على المجموعة الثانية، دون أن يحفظ إجابات الاختبار مباشرة. وجاءت النتائج متباينة إلى حد كبير. ارتفع متوسط الدقة النصية لـ BAGEL من 8.86% إلى 15.43%، ومن 20.00% إلى 28.00% لدى SenseNova-U1، في حين تراجعت لدى GLM-Omni من 14.57% إلى 12.57%. وارتفعت مهمة الأشكال لدى SenseNova-U1 من 20% إلى 68%، وبلغت الحجم النسبي 100%، لكن بقي معدل الدقة لدى النماذج الثلاثة في مهامي الأرقام وعناوين الكتب للكيانات الاختبارية عند 0%. يرتبط هذا الاختلاف بطبيعة الخاصية ذاتها. فالأشكال والأحجام لها قواعد تصنيف ومقارنة قابلة للنقل، وتستطيع أمثلة الأسئلة والأجوبة الخاصة بالكيانات الأخرى تقديم المساعدة، أما الأرقام وأسماء الكتب فتتطلب المطابقة مع محارف فريدة لكل كيان، وتعلم صيغة الإجابة وحدها أبعد ما تكون عن الكفاية. والأهم من ذلك أن توليد الصور والأسئلة والأجوبة النصية لا يزالان مقسّمين إلى نوعين من عينات التدريب، فقد تعلّم النموذج الرسم والإجابة كلٌّ على حدة، لكنه لم يتدرّب ضمن الاستجابة الواحدة نفسها على الانتقال من المحتوى البصري إلى الإجابة اللغوية. وهكذا غيّرت الدراسة طريقة تنظيم نوعي الإشراف هذين.03
دع الصور والنصوص يتم تدريبهما معًا
محاذاة الصور والنصوص المتشابكة (Interleaved Image–Text Alignment) تضع توليد الصور والإجابة النصية في تسلسل تدريبي واحد. عند مواجهة سؤال عن رقم القميص، يولّد النموذج أولاً القميص المقابل، ثم ينظّم الإجابة النصية بناءً على الرقم الظاهر في الصورة. يعمل هدف إعادة بناء الصورة والإشراف اللغوي حول سمة الكيان نفسها، فتكتسب عملية التدريب صلة مباشرة مقارنة بتدريب النوعين من المهام كلٌّ على حدة. ذكرت شبكة Lei Feng (الحساب الرسمي: Lei Feng) أن شروط التقييم لم تتغير: يمكن التدريب بشكل متشابق بين الصور والنصوص، لكن الاختبار لا يزال يتطلب إجابة نصية مباشرة دون توليد صور مؤقتة. ارتفع متوسط الدقة النصية لـ GLM-Omni من 12.57% في مرحلة المحاذاة النصية إلى 26.86%، وارتفعت مهمة الأشكال من 12% إلى 64%، والترتيب المكاني من 0% إلى 40%. كما بلغ متوسط BAGEL وSenseNova-U1 على التوالي 17.14% و28.57%. ومع ذلك، تراجعت بعض مهام الألوان والأعداد، إذ لا يستطيع التدريب المتشابك بعد تغطية كل سمة بصرية. هل يأتي التحسن فعلاً من الإشراف بالصور، أم أنه مجرد زيادة في المحتوى الاستدلالي النصي؟ أجرى الفريق تجربة استئصال على GLM-Omni: احتفظ بنفس الاستجابات المتشابكة والإشراف النصي والتدريب المستقل على توليد الصور، لكنه أخفى خسارة الصور في العينات المتشابكة فقط. هبط متوسط الدقة النصية فوراً من 26.86% إلى 13.71%. هذا يثبت أن إشارة التدريب من إعادة بناء الصور أثرت فعلاً في الاستدعاء اللغوي، ولم يكن مجرد إطلاع النموذج على نص إضافي. أما أي معاملات تحديداً يشارك النموذج من خلالها هذه المعلومات، فلم تحدد التجارب ذلك بعد. ومع ذلك، تظل معرفة مثل أرقام القمصان وعناوين الكتب يصعب نطقها مباشرة وبثبات. فاختار الباحثون طريقاً آخر: ما دام النموذج أكثر مهارة في رسم الإجابة، فهل يمكن رسمها أولاً قبل الإجابة؟ يتيح سلسلة التفكير البصرية (Visual Chain-of-Thought / Visual CoT) توليد الصورة المستهدفة أثناء عملية الاستدلال، ثم التعرف على السمات من الصورة، وأخيراً الإجابة على السؤال النصي. هذه المرة ارتفع متوسط دقة GLM-Omni من 26.86% إلى 41.14%، وBAGEL من 17.14% إلى 20.57%، وSenseNova-U1 من 28.57% إلى 34.86%. وكان الأوضح في مهام الأرقام: كانت دقة النماذج الثلاثة في الإجابة النصية المباشرة 0% في الأصل، وبعد استخدام Visual CoT بلغت 4% و36% و20% على التوالي. في إحدى الحالات في الورقة، أعطى SenseNova-U1 الرقم الخاطئ 69 عند الإجابة مباشرة عن رقم القميص، وبعد توليد صورة القميص وقراءتها، أجاب بالرقم الصحيح 31. لكن هذا يطرح مقايضة جديدة. يمكن لتوليد الصور أن يكون وسيطاً لاسترجاع المعرفة، لكنه يتطلب حوسبة إضافية، وإذا أخطأ محتوى الصورة فقد تُساق الإجابة في الاتجاه الخاطئ. كما لم تتحسن مهمة عناوين الكتب مع Visual CoT، إذ لا تزال توليد القراءات المعقدة وقراءتها يشكلان صعوبة. ومع أن معرفة التجارب مصدرها عالم خيالي مضبوط، فإن فعالية هذا المسار في المشاهد الديناميكية الحقيقية ما تزال بحاجة إلى مزيد من التحقق.04
لا يزال أمام التعدد الوسائطي الموحّد عقبة أخرى يجب تجاوزها
ظهر GLM-Omni مع ورقته البحثية، ليمنح تفاصيل تقنية ملموسة للاستكشافات الداخلية التي تجريها Zhipu في اتجاه توحيد الفهم البصري والتوليد. وقد طرحت جولات التجارب في هذه الدراسة قضية طالما حجبها تأثير التوليد: ما يتعلمه النموذج من الصور لا يمكن بالضرورة استخدامه مباشرة في الإجابات اللغوية. فقد حسّن التدريب المتداخل بين الصور والنصوص بعض الاتصالات المعرفية عبر الأنماط، بينما مكّن Visual CoT النموذج من إعادة قراءة المعلومات بالاستعانة بصور مولّدة عند الحاجة. أما بالنسبة للنماذج متعددة الأنماط التي تواصل التوجه نحو بنية موحدة، فإن التحدي المقبل، فضلاً عن رسم الصور بشكل جيد والإجابة عن الأسئلة بشكل صحيح، يتمثل في كيفية جعل المعرفة المتراكمة من المهام المختلفة تتفاعل بفعالية فيما بينها. وأما ما إذا كان GLM-Omni سيظهر في نسخة منتج لاحقة، فلا يزال الأمر بحاجة إلى مزيد من المعلومات العلنية.اصعد إلى متن الرحلة لنأخذك في جولة على خلاصة أهم مؤتمرات الذكاء الاصطناعي حول العالم
اطّلع حصريًا على:
عرض تقديمي (PPT) لمحاضرة الخبراء
النص الكامل لتقرير المؤتمر
قراءة في الأوراق البحثية الرائجة
مقابلة مع نجم أكاديمي صاعد
امسح رمز الاستجابة السريعة أعلاه
أو انقر على «阅读原文» لمتابعة الصفحة المخصصة.
مقال أصلي من شبكة LeiFeng، يُمنع إعادة نشره دون إذن. للتفاصيل راجعملاحظات إعادة النشر。