جاي من منصة واو فان سي تسي كوانتوم بيت | الحساب العام QbitAI
أليس كذلك، هل عدت من خلال التحول؟
مؤخرًا، بسبب قضية حقوق النشر، تم الكشف عن مسار البحث الداخلي لشركة Anthropic في يوليو 2021.
قصير جدًا، حيث تحتوي نص PDF الرئيسي على صفحتين أو ثلاث صفحات فقط.
لكن عندما قرأت هذا الملف المعلّح بـ"أسرار حساسة للغاية" من البداية إلى النهاية، شعرت بالإرهاق الشديد.
اليوم، كود Claude، استخدام الأدوات، التقييم الذاتي للذكاء الاصطناعي، حساب القيمة أثناء الاختبار، وحتى مئات التريليون من المعلمات والسياق الطويل جدًا...
قبل خمس سنوات، عندما كانت الشركة قد انفصلت عن OpenAI بعد بضعة أشهر فقط، وكان عدد الموظفين لا يتجاوز عشرة أشخاص، كان الأمر مكتوبًا بشكل واضح في وثيقة رسمية.
خطة العمل قبل 5 سنوات
يعتقد الكثير من الناس أن تطور النماذج الكبيرة من روبوتات المحادثة إلى أجهزة الأداة التي تكتب الكود البرمجي وتعمل على أنظمة التشغيل، حدث بشكل طبيعي بعد نضوج التقنيات في السنوات الأخيرة.
خطأ.
في بداية خريطة الطريق لعام 2021، قدمت شركة Anthropic تحديدًا واضحًا للنموذج الأولي لأهدافها النهائية (AGI الآمنة والمفيدة):
إنشاء مساعد ذكاء اصطناعي عام يمكنه التفاعل مع البشر باللغة الطبيعية، وذلك لإنشاء وتحرير وتفسير البرمجيات.
ما هو مساعد الذكاء الاصطناعي العام؟
يمكن الإجابة على الأسئلة العامة، كتابة الدوال، العثور على الأخطاء، تصميم واجهات برمجة التطبيقات، ومناقشة أسلوب الكود والممارسات المثلى.
الأكثر قسوة هو الجملة التالية:
يجب أن يعرض كلًا من قدرات زميل مهندس البرمجيات.
لا، أعتقد أن هذا هو Claude Code بالضبط؟؟
في الوقت الذي لم يكن GPT-3 قد انتشر فيه كثيرًا، وكان الجميع يتفاجأون بقدرة الذكاء الاصطناعي على كتابة الشعر، قامت شركة Anthropic بالانتقال مباشرة من منطق إكمال الكود تلقائيًا البسيط إلى تطوير برنامج هندسي كامل.
ليس ذلك فحسب، بل في مسار التنفيذ المحدد، حدثت أيضًا جدل رائع للغاية داخل المؤسسة.
الباحث أندي جونز أثار في ملاحظاته خلافًا أساسيًا: هل يجب علينا أولاً تطوير مساعد برمجة فعال حقًا، أم نحتاج أولاً إلى إثبات جدوى استخدام الأدوات؟
في ذلك الوقت، واجه الفريق خيارين:
الطرق العملية: تنفيذ عملية بحث في مستودع الكود (Repo Search)، لكي تتمكن الذكاء الاصطناعي من البحث عن أنواع المشاريع.
شارك توم براون، المشرف الأول على ورقة GPT-3، في هذه المناقشة، واقترح البدء من مراجعة ملفات الكود من Repo Browsing.
مسار البحث: القيام بتصحيح printf وتشغيل محرر النصوص، أولاً إثبات أن النموذج يمكنه استخدام الأدوات.
وأخيرًا، كان قرار المدير التنفيذي داريو هو الذي تم اتخاذه:
تحقق من إمكانية استخدام الأدوات قصيرة الأمد، ثم تتطور إلى مساعد برمجة ممتازة في المستقبل.
الآن عند النظر إلى تطور كود كلود، نجد أنه تم تنفيذه خطوة بخطوة وفقًا لكلمات داريو في ذلك الوقت.
التقييم الذاتي، البتات الفائقة الضخمة، والذاكرة الطويلة جدًا
بالإضافة إلى وكيل الترميز، يحتوي هذا الخريطة الزمنية أيضًا على توقعات حول التقنيات الأساسية.
مثلًا في جزء التدريب المسبق، كتبوا بوضوح في عام 2021 أنهم سيدربون نموذجًا ضخمًا بـ1T (1 تريليون معلمة) وما فوق، كما سيستكشفون السياقات الطويلة جدًا، أو أي آليات أخرى يمكنها استيعاب كميات هائلة من الذاكرة والتجارب.
في عصر الكيان الضخم 175B، كانوا قد اعتبروا عدد التريليونات من المعلمات والذاكرة الطويلة جدًا من الهياكل الأساسية الأساسية.
الأكثر غرابة هو جزء التغذية الراجعة البشرية والمواءمة.
النص مكتوب بوضوح في الوثيقة:
تقييم الذات للنموذج.
في عام 2021، كانوا يدرسون كيف يمكن للنماذج تقييم سلوكها وجودة إخراجها، وكيف يمكن للنماذج استخدام أحكامها الخاصة كإشارات تعليمة. هذا هو بالضبط الفكر الأساسي لـ AI Feedback والنماذج الاستدلالية التي تقوم بتصحيح نفسها.
الأكثر إثارة للاهتمام هو أن الوثيقة تضم حتى مفهومًا كان مهمًا جدًا في دراسات النماذج الكبيرة لاحقًا:
حساب أثناء الاختبار.
بالطبع، في ذلك الوقت، تم وضع هذا البحث في سياق دراسات التنظيم والمفسرات، ولا يزال هناك فجوة كبيرة بينه وبين توسع الحسابات الاستدلالية على نمط o1 لاحقًا.
لكن على الأقل، يُظهر ذلك أنه في عام 2021، كانت رؤية البحث في شركة Anthropic قد امتدت إلى جهود الحساب التي تتجاوز تدريب النماذج.
نقول، إن معهد نيو لاب لديه شيء ما، لا عجب أن إيليا شعر بالضعف.
لا أعرف ما الذي يحدث في مختبرات الطليعة الآن، كل يوم.
لحظة العرق البارد الداخلي
بالطبع، بما أنها A\، لا يمكن تجنب الحديث عن المخاطر الأمنية.
لكن عندما نظرت، لاحظت أن هؤلاء الأشخاص يحبون حقًا مناقشة الأمان، وقد استغرقوا الكثير من الوقت في ذلك.
كشركة تضع الأمان في مقدمة أولوياتها، تنبأت شركة Anthropic في عام 2021 بالكابوس الذي يواجهه الوكلاء الذين يتحركون في كل مكان في الوقت الحالي.
المؤسس المشارك سام مككانليش طرح أسئلة صعبة في ملاحظاته:
كيف يمكن توزيع الأدوات التي لا تحتوي على عزل ساحبة بطريقة آمنة؟
أضاف داريو تعليقًا مباشرًا:
بالتحديد، إنه الأداة التي تُنفّذ الكود أثناء النشر!
(ملحوظة: في النص الأصلي هنا أقواس تعجب، هذا هو داريو الذي مليء بالحماس)
رائع جدًا.
عندما يمكن للذكاء الاصطناعي فعليًا تشغيل الكود مباشرة في البيئة المضيفة، واستدعاء شبكة الإنترنت، وتعديل الملفات، فإن العواقب قد تكون لا تُصدق إذا حدثت خروج عن السيطرة أو تم إدخال برمجيات خبيثة.
اليوم، يتم مناقشة موضوعات مثل تفويض السلطة للخدمات الآلية، الهروب من البيئة، والتلوث البياني في جميع الشبكات. وفي عام 2021، كان يتم مناقشة حدود الصندوق الأبيض.
ربما كانوا يرغبون في اتخاذ هذا الطريق منذ البداية.
أيضًا، ظهرت أماندا في هذا التقرير، وهي فلاسفة داخلية لشركة A شهيرة في الآونة الأخيرة.
أشارت بجدية شديدة:
إذا كنا نقوم بدراسة التوافق في اللغة الطبيعية، بينما نعمل بشكل رئيسي على تطوير قدرات النموذج في الكود، فأنا قلق قليلاً. يجب أن تظل هاتان الدراستان مترابطتين باستمرار.
إذا لم نقوم بدراسة التوافق في مجالات تحسين القدرات، فإن ذلك سيحد من فعالية اختبارات التوافق. وقد يؤدي ذلك إلى تأثيرات تلاحقة، مثل أن الدراسات المتعلقة بالتوافق تصبح جزيرة معزولة بسبب عدم الاندماج المبكر.
حتى أنهم اقترحوا مباشرة وضع مبدأ شركة:
يجب أن يتم تطوير دراسات القدرات في جميع المجالات ودراسات التمييز بينها بشكل متناسق ومتناسق، ما لم نتمكن من تقديم أسباب كافية توضح سبب الفصل بينهما.
شيء آخر
آه، لقد قلت من قبل أن A لا تضغط على OpenAI كثيرًا، اتضح أنها تمتلك ميزة البداية.
كانت السنوات الخمس للشركة Anthropic هي محاولة الإصرار على الجودة العالية للكود، والكفاح المستمر من أجل التعلم العميق وتعزيز عمليات العمل المؤسسية.
وأما OpenAI، فتقوم بعمليات متعددة في نفس الوقت: إنشاء صور من النصوص، إنتاج مقاطع فيديو Sora، تطوير مساعد صوتي، والبحث، مما يؤدي إلى توزيع قوتها العسكرية.
لكن، بينما كان الجميع لا يزالون يعيدون تقييم الاختلافات في المسارات التقنية للشركتين، ظهر فجأة من جانب OpenAI خبر مذهل أكثر غرابة من أفلام هوليوود.
يا أصدقائي، لدى OpenAI جاسوس داخلي!!!
وفقًا للاتهام الذي أصدره المدعي العام الفيدرالي الأمريكي، تم فصل مهندس فريق المنتج السابق في OpenAI البالغ من العمر 35 عامًا، عبد الرحمن الفوزان، رسميًا وتم توجيه اتهامات جنائية فيدرالية ضده.
ماذا فعل هذا الرجل؟
في قاعة الاجتماعات الأساسية المخصصة للكبار الإداريين في مقر OpenAI في سان فرانسيسكو، قام بلف جهاز التجسس الذي يحتوي على وظائف تشفير متقدمة ونقل بيانات بورق التواليتبورق التواليت، ثم أدخله بهدوء في منفذ USB خلف التلفزيون.
يجب معرفة أن هذه القاعة اجتماعية هي المكان الذي يجتمع فيه كبار المديرين مثل سام ألتمن، حيث يتحدثون دائمًا عن أسرار تطوير الذكاء الاصطناعي الفائق، وخطط المنتجات غير المعلنة، والبيانات المتعلقة بالتعاون مع الحكومة.
نتيجة لذلك، تم اختراقه بسهولة كهذه.
العالم حقًا مجرد مجموعة غير منظمة...