عندما أصدرت OpenAI مئات من الحلول المزعومة لبعض أصعب المسائل الرياضية في العالم هذا الأسبوع، قالت المختبرات الرائدة إنها استشارت مجموعة استشارية من كبار علماء الرياضيات لتجنب الجدل الذي رافق المرة الأخيرة التي حل فيها أحد نماذجها مسألة طويلة الأمد في هذا المجال.
لكن OpenAI قصّرت عن تلك المعايير، لا سيما حيث أكد علماء الرياضيات على الحاجة إلى الفهم البشري للنتيجة الرياضية. وهذا مقلق بشكل خاص بعد أن سلطت ورقة بحثية جديدة الضوء على الفجوات بين الشرح باللغة الطبيعية والحل المعبَّر عنه شكلياً لمسألة بمليون دولار يُزعم أن نماذج OpenAI حلتها.
تتألف المجموعة الاستشارية للرياضيات والذكاء الاصطناعي، المستضافة من قبل معهد الدراسات المتقدمة بجامعة برينستون، من تسعة باحثين بارزين في مؤسسات حول العالم.
أصدرت المنظمة إرشادات لمختبرات الحدود التي تحل المسائل الرياضية في نهاية سبتمبر. وفي بيان حول أحدث مجموعة من البراهين، قالت المجموعة الاستشارية للرياضيات والذكاء الاصطناعي إنه "من المسؤولية في نهاية المطاف على المجتمع الرياضي تقييم مدى اتباع توصياتنا بنجاح".
غير أن الطلب الأول للمنظمة كان "إيقاف اختبار المسائل الرياضية المتقدمة على النماذج الاحتكارية". ويذكر إصدار OpenAI صراحةً أنها تقيّم نماذجها الاحتكارية باستخدام مسائل بحثية مفتوحة في الرياضيات.
لم ترد المجموعة الاستشارية عندما طلبتها TechCrunch لتقديم تقييم أكثر شمولاً لأحدث إصدار من البراهين من OpenAI. وقد اتبع المختبر بوضوح بعض مبادئها، بما في ذلك إصدار النتائج في أقرب وقت ممكن وإدراج معلومات حول كيفية وصول النماذج إلى استنتاجاتها. لكن ليس جميعها: عشرة مخطوطات فقط من أصل 719 تضمنت إصدار سلسلة تفكير النموذج.
وبالنسبة للأوراق التي لا يفهمها الناس، اقترح علماء الرياضيات أن تُصاغ البراهين صياغة شكلية — لكن 42% فقط من البراهين التي أصدرتها OpenAI لم تخضع لهذه العملية.
وفي نهاية المطاف، لا يزال من غير الواضح أن OpenAI تتحمل "مسؤولية ضمان أن الفهم البشري سيتبع" عند إصدار براهينها، وفقاً لمبادئ المجموعة الاستشارية للرياضيات والذكاء الاصطناعي. وقد اقترحت المجموعة أن تساعد OpenAI في تمويل عمل علماء الرياضيات البشريين الذين سيكونون مطلوبين لجعل حلول المختبر ذات معنى حقيقي بأي شكل.
"إن المسائل تُحل بشكل ذاتي بواسطة مستخدمي مطالبات الذكاء الاصطناعي الذين لا تهمهم المجالات الأوسع نفسها بمجرد أن يكون هدفهم الأول قد "حُلّ"، ولا يفهمون مخرجات الذكاء الاصطناعي جيداً بما يكفي للإجابة عن أسئلة حول النتيجة أو تقديم محاضرات أو التفاعل بطريقة أخرى مع بقية المجال"، كما كتب تيرينس تاو، وهو عالم رياضيات بارز انتقد نهج OpenAI، على وسائل التواصل الاجتماعي بعد الإصدار.
وتتجسد تلك المشكلة في ورقة بحثية أصدرها هذا الأسبوع علماء رياضيات من جامعة كامبريدج وكينغز كوليدج في لندن تتساءل عن الطريقة التي تتعامل بها مختبرات الحدود مع هذه التحديات.
عندما تحل نماذج الذكاء الاصطناعي المسائل الرياضية، فإنها تنشئ أولاً شرحاً بـ"اللغة الطبيعية"، ثم تحاول التعبير عن تلك النتيجة في Lean، وهي لغة برمجة تؤكد نظرياً دقة البرهان بتجميعه كشيفرة.
غير أن هناك قد تكون مشاكل في الطريقة التي تترجم بها النماذج براهينها باللغة الطبيعية إلى شيفرة؛ وتوثق هذه الورقة وجود تباينين على الأقل بين البرهان باللغة الطبيعية وشيفرة Lean وراء الحل الذي قدمته OpenAI لمسألة مشتقة من معادلات نافييه-ستوكس التي تصف السلوك المعقد للسوائل.
هذه التباينات لا تدحض بالضرورة أياً من الحلين، لكنها تثير أسئلة حول ما إذا كان بإمكاننا ببساطة الاعتماد على النماذج لصياغة حلولها شكلياً دون تدخل بشري. وهذا أحد الأسباب التي دفعت المجموعة الاستشارية للرياضيات والذكاء الاصطناعي إلى مطالبة OpenAI بـ"تضمين بيانات وصفية قابلة للقراءة الآلية تربط بين اللغة الطبيعية والمخرجات الشكلية"، وهو شيء لم يفعله هذا المختبر الرائد في هذه الإصدارات.
وبسبب ظاهرة الترجمات الخاطئة — كما سلطت هذه الورقة الضوء — فإن البرهان باللغة الطبيعية من OpenAI و
براهين Lean الأخرى المُصاغة آلياً لا ينبغي الوثوق بها مبدئياً دون عملية مراجعة الأقران نفسها و
التدقيق الذي تخضع له البراهين الأخرى"، تستنتج مؤلفو ورقة "المفقودة في الترجمة".
يؤكد علماء الرياضيات أنه عندما يُكتشف نتائج جديدة من قبل البشر، فإنهم يتحملون المسؤولية عنها ويتفاعلون مع المجتمع الأوسع من خلال الأوراق البحثية والمحاضرات والندوات. وتزيد هذه العملية من فهم الحلول، وتكتشف استراتيجيات يمكن استخدامها لحل مسائل أخرى، وتتيح تطبيق المعرفة الجديدة في مجالات عملية.
عندما يُطلب من نموذج حل مسألة صعبة ويُخرج حلاً، "لا يوجد فهم بشري لها عند نقطة الإصدار، والآن يبدأ العمل"، كما قالت ميلاني وود، أستاذة الرياضيات في جامعة هارفارد، لـ TechCrunch.