نقاط مهمة
- قامت شركة Adobe Research وUC San Diego بتطوير EditAgent، وهو نظام ذكاء اصطناعي يقوم بتحويل مهام تحرير الصور إلى خطوات فرعية، ويجمع بين محرر عام وأدوات متخصصة للأعمال مثل توضيح الصورة أو التكبير.
- يقوم نموذج اللغة القياسي بتقييم مختلفات الصور التي تم إنتاجها بالتوازي، باستخدام الإحصائيات المقاسة والقطع العرضية المكشوفة. وبهذه البيانات، يتفوق على نماذج التقييم التي تم تدريبها خصيصًا لهذا الغرض.
- يُنتج عامل التحرير نتائج أكثر دقة من عاملات الذكاء الاصطناعي السابقة، لكنه يحتاج إلى حوالي عشرة أضعاف من الطاقة الحاسوبية. يمكن استخدام الناتج المؤكد بعد ذلك لتدريب نماذج التحرير الأسرع.
بنوا الباحثون في شركة أدوبي وكالة ذكية للتحرير الصور، حيث تجمع بين محرر عام وأدوات متخصصة. نموذج لغة قياسي يقارن النتائج باستخدام البيانات المقاسة ويختار الأفضل.
وظيفة الذكاء الاصطناعي لتحرير الصور تقسم الطلبات المعقدة إلى خطوات، وعادةً ما تُجرب الخطوات الفاشلة مرة أخرى باستخدام نفس الأدوات، بينما يقوم نموذج منفصل بتقييم النتيجة بنظرة عين.
يود الباحثون في أدوبي للأبحاث وجامعة كاليفورنيا في سان ديغو تغيير ذلك باستخدام EditAgent، وهو نظام يعمل بشكل أفضل من مصفوفة الفوتوشوب، وفقًا لـ مقال جديد. يقوم النظام باختيار الأداة المناسبة لكل مهمة ويقارن النتيجة مع النسخة الأصلية باستخدام أرقام صارمة.
فشل محررات ذات الغرض العام في الكثير من المهام
في اختبار شمل 600 تعديل للصور، قام خمسة محترفين بتقييمه بطريقة عشوائية، فلم ينجح المحرر العام Flux-2-Klein-9B في إنتاج نتيجة قابلة للاستخدام بنسبة 42.7 بالمائة من الوقت. حلت الأدوات المتخصصة حوالي ثلثي هذه الإخفاقات، خاصة فيما يتعلق بتحسين الجودة والتدوير والضغط. لم تساعد المحاولات المتكررة مع نفس المحرر كثيرًا.
اختبر الباحثون أيضًا ما إذا كان الوكيل يقدم نتائج أفضل من خلال تحسين النتائج خطوة بخطوة، أو من خلال إنشاء عدة متغيرات بشكل متوازي. يؤدي التحسين التكراري إلى تراكم الأخطاء الصغيرة، لأن كل جولة تستند على صورة تم تعديلها بالفعل. اختار المحترفون المتغيرات المتوازية المُنشأة من النسخة الأصلية في 78.5% من المقارنات التي اختاروا فيها طرفًا معينًا. احتاج الوكيل إلى نصف عدد جولات التقييم فقط. تم بناء برنامج EditAgent على هذين الاكتشافين.
الأرقام الصلبة تجعل النماذج القياسية أفضل قضاة
يخطط أدات التحرير لطلب معين على مر خطوات، ولكل خطوة، يقارن المحرر عام مع الأدوات المتخصصة المناسبة. ثم يقارن نموذج اللغة القياسي جميع الخلاصات في مرور واحد.
للكل نسخة من النموذج، يحصل النموذج على سجل التحقق يحتوي على صورة مكبرة للمنطقة المُعدلة، خريطة التغييرات في المناطق المُعدلة، بالإضافة إلى إحصائيات قياسية لالون والسطوع. في مثال واحد، كان من المفترض تضييق الضوء على صورة بطريقة طبيعية. أظهرت الأرقام أن المحرر العام قد تجاوز الحد المسموح به، مما جعل الألوان أكثر دفئًا. أما الأداة المتخصصة فقد ظلت ضمن المعايير المطلوبة.
اختبر الباحثون هذا الموضوع على اختبار 600-edit. كان على نموذج الحكم اختيار النتيجة الأفضل من عدة خيارات، وقاموا بحساب عدد المرات التي اختار فيها صورة كانت المهنيين أيضًا يعتبرونها قابلة للاستخدام. لأغراض المقارنة، قاموا بتشغيل نماذج مثل EditScore التي تم تعديلها بدقة على التقييمات البشرية لتعديل الصور.
بدون سجل التحقق، لم يتمكن أي من نماذج اللغة السبعة المختبرة من مطابقة أفضل النموذجات المُعدّلة بدقة. معه، فازت جميع النماذج السبعة على كل النماذج المُعدّلة بدقة. Qwen3.8-27B كان قادرًا على الحل بنجاح في 81.3 بالمئة من الأحيان، مقارنة بـ 74.8 بالمئة لـ EditScore-72B. بالنسبة للباحثين، هذا يشير إلى أن ما يراه النموذج القاضي يمكن أن يكون أكثر أهمية من طريقة تدريبه.
بعد كل جولة، يفحص 에디트에이جنت أيضًا ما إذا كانت التعديلات اللاحقة قد ألغت التعديلات السابقة بالخطأ. في مثال الورقة البحثية، فإن التعليمات "دع الضوء يتسرب أكثر" تجعل النافذة التي كانت مغطاة بالثلج تظهر مرة أخرى. يلاحظ الوكيل التناقض ويصححه.
تحسن العميل التحريري المصدر المفتوح Qwen-Image-Edit-2511 وFlux-2-Klein-9B عبر ثلاث اختبارات، وتفوق على سبعة عمال أخرى للذكاء الاصطناعي. على اختبار EdiVal، تفوقت النسخة Qwen في جولة التحرير الثالثة على النماذج التجارية Seedream 4.0 وGPT-Image-1.5. لكن العميل يحتاج إلى حوالي عشرة أضعاف من القوة الحاسوبية مقارنة بالتحرير الفردي، وأداؤه يعتمد على الأدوات المتصلة به.
يولد الوكيل بيانات تدريب للمحررين الأسرع
استخدم الباحثون أيضًا EditAgent كمصدر للبيانات. نظرًا لأن الوكيل يحتفظ فقط بالنتائج المؤكدة، فقد تم إنتاج حوالي 26,000 مثال تدريب. أدى المحررون الذين قاموا بتحسين البيانات على هذه البيانات إلى أداء أفضل على جميع المقاييس الثلاثة. من ناحية أخرى، فإن بيانات التدريب التي تم إنتاجها مباشرة بواسطة FLUX أدت في الواقع إلى تدهور أداء FLUX. قد يجعل هذا التوازن الفني تكلفة الحوسبة العالية للوكيل تستحقها مع الوقت.
أدوبي أضفوا وكالات الذكاء الاصطناعي إلى برنامج فوتوشوب، وبرنامج بريميير، والبرامج الأخرى في نظام Creative Cloud. في يونيو، بدأ التجربة العامة الاختبارية. يصف المستخدمون ما يريدونه، ويقوم العميل بتنفيذ الخطوات الفردية. كيف يعمل هؤلاء العمالقة في اختيار الأدوات المناسبة وتحقق من نتائجهم هو سؤال يتعلق مباشرة بمنتجات أدوبي التي يتم توزيعها. لقد حلت شركة Black Forest Labs محل النموذج العام الغرض منه ذلك الذي تم اختباره في الورقة: النموذج الجديد فلوكس 3 صورة كلاين لديه 5.6 مليار معلمة، وهو أصغر من Flux 2 Klein، لكنه يحصل على درجة أعلى من جميع النماذج المفتوحة الأخرى، وحتى من Flux 2 Pro التجاري في الاختبارات الداخلية لشركة Black Forest Labs.
المصدر: Arxiv