الحُكم السليم هو ما يميز المهنيين الكبار عن زملائهم المبتدئين. بناء هذا الحكم يتطلب آلاف الساعات من التعلم أثناء العمل، عادةً من خلال الانخراط الشاق لكنه صانع للمهارات في عمل روتيني نسبيًا، غالبًا تحت إشراف موجَّه من عاملين ذوي خبرة. لكن الذكاء الاصطناعي يغيّر بالفعل يغيّر طريقة عمل التعلم أثناء العمل. من ناحية، تُظهر الدراسات التجريبية في الأشعة, وحل المشكلات التجارية, وكتابة الباحثين عن عملو التعليم القانوني أنه عندما تُدمَج أدوات الذكاء الاصطناعي بعناية في سير عمل التدريب، يمكن للعاملين الأقل خبرة تحسين أدائهم المستقل.
من ناحية أخرى، تُظهر التجارب الحديثة مع مهندسي البرمجيات, ومستشاري الإدارة, وطالب الثانويةو الأطباء السريريين أن الذكاء الاصطناعي، رغم أنه يعمل كهيكل خارجي مؤقت يعزز الإنتاج الفوري، فإن تلك المكاسب كثيرًا ما تفشل في الاستمرار بعد إزالة الأداة. فهم كيف يمكن للذكاء الاصطناعي أن يقوّض الخبرة أو يعزّزها يتطلب ثلاثة عناصر نادرًا ما تُوجد مجتمعة: (1) استخدام مستمر للذكاء الاصطناعي مدمج في العمل المهني الاعتيادي على مدى أشهر وليس ساعات، (2) تقييم موثوق للحُكم غير المدعوم عند عدم توفر الذكاء الاصطناعي، و(3) تصحيح محجوب الهوية من قبل خبراء في المجال.
في ورقة بعنوان “هل تعزز المساعدة بالذكاء الاصطناعي الخبرة أم تؤدي إلى تآكلها؟ أدلة من تجربة ميدانية استمرت ثلاثة أشهر في صياغة براءات الاختراع”، الصادرة عن المكتب الوطني للبحوث الاقتصادية، نصف تجربة ميدانية استُخدمت لرصد التغييرات في كل من الإنتاجية قصيرة المدى وبناء المهارات على المدى الأطول التي تنتج عن استخدام الذكاء الاصطناعي في مهنة شديدة الكثافة في الخبرة وهي قانون الملكية الفكرية. في تجربتنا، وزّعنا عشوائيًا الوصول إلى أداة مساعدة في صياغة براءات الاختراع بالذكاء الاصطناعي من Google Labs لم تكن قد صدرت بعد، وهي الآن جزء من Gemini Notebook، بين 133 محاميًا في إحدى عشرة شركة قانون للملكية الفكرية تتعامل بانتظام وبشكل غير حصري مع Google. ثلثا المحامين في كل شركة (مجموعة "المعالجة") حصلوا على وصول مبكر إلى الأداة، بينما حصل الباقون (مجموعة "الضبط") على بعض التدريب حول كيفية استخدام الذكاء الاصطناعي لكن مُنعوا من استخدام الأداة حتى بعد انتهاء فترة الدراسة البالغة ثلاثة أشهر.
عمل أفضل مع الذكاء الاصطناعي
بعد 10 أيام من المساعدة بالذكاء الاصطناعي، أرسلنا إلى جميع المحامين المشاركين حزمة من مواد المخترع لاختراع افتراضي وطلبنا منهم صياغة براءة اختراع. وفعلنا الأمر نفسه بعد 90 يومًا، بمجموعة مختلفة من مواد المخترع المحاكاة. لاحظنا الزيادة المتوقعة في الأداء بفعل الذكاء الاصطناعي في مهام الصياغة في الفترتين. بعد 10 أيام، رفع الوصول إلى أداة الذكاء الاصطناعي درجات الصياغة (المقيَّمة وفق سلم تقييم يتضمن سلالم ليكرت لخمسة جوانب مختلفة من الجودة بواسطة خبراء قانونيين مستقلين) بمقدار 0.34 انحراف معياري، أي ما يعادل ارتفاعًا بمقدار 10 نقاط في الترتيب المئوي بين درجات مجموعة الضبط؛ وبعد 90 يومًا، ارتفع هذا التحسن إلى 0.38 انحراف معياري، أي ما يعني زيادة بمقدار 11 نقطة مئوية. حدثت هذه التحسّنات باتساق ملحوظ عبر جميع أبعاد الجودة. والمُبعِد للانتباه أن الأداء الأفضل جاء من انخفاض تكرار الدرجات الضعيفة وارتفاع تكرار الدرجات الجيدة، دون تغيير في تكرار الدرجات الممتازة. وبشكل رسمي، انتقلت درجات المحامين الذين مُنحوا وصولًا إلى الذكاء الاصطناعي من الفئات الخمسية الدنيا إلى المتوسطة السفلى والمتوسطة، لكن لم تكن هناك تغيّرات ملحوظة في عدد الدرجات الاستثنائية. كان هذا النمط واضحًا بشكل خاص لدى المحامين المبتدئين، الذين تقابلت تحسّناتهم في الجودة أيضًا توفيرات زمنية كبيرة (18 دقيقة أسرع من متوسط سرعة مجموعة الضبط البالغ 124 دقيقة في مهمة الـ 10 أيام، على سبيل المثال).
لكن محامي براءات الاختراع لا يكتتفون بصياغة براءات الاختراع فحسب؛ بل يراجعون أيضاً أعمال بعضهم البعض بحثاً عن أخطاء جوهرية (تسمى أحياناً "ألفاظ براءات الاختراع الماسة") يمكن أن تجعل براءات الاختراع غير قابلة للتنفيذ أمام المحاكم — على سبيل المثال، بالمبالغة في ادعاء حداثة الاختراع أو نطاقه. لذلك أضفنا مهمة أخرى عند اليوم 90، تطلبت من المشاركين المراجعة اليدوية (أي الترميم والتدقيق اليدوي) لبراءة اختراع افتراضية موجودة تحتوي على أخطاء كثيرة، جوهرية منها وأسلوبية. تعكس هذه المهمة الاختبارية نوع الحكم المهني الذي يستخدمه المحامون الأكثر خبرة بشكل روتيني والذي لا تتاح لهم في الغالب رفاهية الاعتماد فيه على الذكاء الاصطناعي. ومن الأهمية بمكان أنه في حين شُجع محامو المجموعة العلاجية على استخدام أداة الذكاء الاصطناعي غير المُصدر أو أي أداة ذكاء اصطناعي أخرى في مهام الصياغة، لم يُسمح لأحد باستخدام الذكاء الاصطناعي في مهمة المراجعة اليدوية، مما جعل درجاتهم في هذه المهمة مقياساً لمدى تطور مهاراتهم. وفي جميع المهام، الصياغة والمراجعة على حد سواء، عملنا مع متخصصين في براءات الاختراع من أطراف ثالثة لتقييم المساهمات على خمسة أبعاد للجودة: (1) قابلية التنفيذ، (2) الدقة، (3) الغموض الاستراتيجي (التحديد التكتيكي لنطاق المطالبات)، (4) الاكتمال، و(5) الوضوح.
الأثر التقديري للاستعانة بالذكاء الاصطناعي على جودة صياغة براءات الاختراع ومراجعتها يدوياً. وقد أُبلغت النتائج لجميع المحامين (مربعات سوداء)، والمحامين المبتدئين بخبرة تقل عن 7 سنوات (مثلثات زرقاء)، والمحامين الكبار بخبرة 7 سنوات فأكثر (معينات برتقالية). تراعي جميع التقديرات الاختلافات بين مكاتب المحاماة وتصحح التفاوتات الطفيفة في عدد التقييمات التي حصل عليها كل محامٍ.
عند إزالة الذكاء الاصطناعي
عندما أُزيل مساعد الذكاء الاصطناعي في مهمة المراجعة اليدوية عند اليوم 90، اختفى أثر التسوية. تفوق المحامون الذين حصلوا على إمكانية الوصول إلى أداة الذكاء الاصطناعي على المجموعة الضابطة بمقدار 0.32 انحراف معياري في هذه المهمة غير المدعومة (ما يعادل ارتفاعاً بمقدار 9 نقاط في التصنيف المئوي)، لكن هذا الأثر تحقق بالكامل من المحامين الكبار، الذين تفوقوا على أفراد المجموعة الضابطة بمقدار 0.45 انحراف معياري (ارتفاع بمقدار 13 نقطة)، في حين لم يُظهر المبتدئون أي تحسن ملموس. وبدلاً من ذلك، انقسمت درجات المبتدئين: المزيد من الدرجات المنخفضة جداً، ودرجات متوسطة أقل، ودرجات جيدة أكثر، دون مزيد من الدرجات الممتازة.
ماذا تعني هذه النتائج بالنسبة للتعلم؟ المحامون الكبار الذين مُنحوا إمكانية الوصول إلى أداة الذكاء الاصطناعي حققوا بوضوح قيمة كبيرة من حيث حكمهم المهني نتيجة استخدامهم للأداة على مدى الأشهر الثلاثة السابقة. لكن الصورة على مستوى المبتدئين أكثر تعقيداً. فبعض الدرجات تحسنت، مما يشير إلى قدرة الذكاء الاصطناعي على تجاوز مراحل التعلم. وانتشرت درجات أخرى في الدرجات الدنيا من التوزيع، مما يُظهر أنه في بعض السيناريوهات يمكن للذكاء الاصطناعي أن يساعد المبتدئين على تقديم عمل مقبول، لكن أداءهم الأعلى المدعوم آلياً لا يتحول إلى اكتساب أسرع للخبرة التي تجعل المهنيين الكبار ذوي قيمة مميزة.
توزيعات متوسط درجة المراجعة اليدوية للمشاركين في المجموعة العلاجية (برتقالي) والمجموعة الضابطة (أزرق) حسب الخبرة لجميع المحامين، والمحامين المبتدئين بخبرة تقل عن 7 سنوات، والمحامين الكبار بخبرة 7 سنوات فأكثر. الملاحظات هي تقييمات فردية ممتدة على جميع أبعاد الجودة.
يوفر فحص أنماط التحرير النوعية بعض البصيرة حول كيفية تفاعل المهنيين من مستويات خبرة مختلفة مع أدوات الذكاء الاصطناعي التوليدي. في كلتا المجموعتين العلاجية والضابطة، اتبعت مساهمات المبتدئين شكلياً جامداً: فقد عمل المبتدئون بالتتابع من الأعلى إلى الأسفل، مستنزفين في كثير من الأحيان وقتهم في تحرير الأقسام التمهيدية منخفضة المخاطر قبل الوصول إلى مطالبات البراءة الرئيسية. وركز المبتدئون أيضاً على استبدال المرادفات على السطح بدلاً من تحسين النطاق التجاري. وحتى عندما يكتشف المبتدئون عيوباً خطيرة، كانوا غالباً يتركون تعليقات وصفية تشخّص العيب بدلاً من تنفيذ المراجعة لإصلاحه. ولأن هذا الموقف من "التشخيص دون التنفيذ" كان شائعاً بالقدر نفسه بين المبتدئين في المجموعة الضابطة غير المدعومة، فإنه يمثل نقصاً أساسياً لدى المبتدئين لم تُعالجه ثلاثة أشهر من الاعتماد على الذكاء الاصطناعي لتنفيذ إعادة الصياغة.
وفي المقابل، استفاد المحامون الكبار باستمرار من التعرض للذكاء الاصطناعي. أمضى المحامون الكبار المعالَجون وقتاً أطول في المراجعة اليدوية من المبتدئين، متجاوزين النصوص منخفضة المخاطر لإعادة بناء المطالبات من الصفر، وإزالة الصياغات التي قد تضيّق الحقوق القانونية عن قصد أو تحد من نطاق الحماية، وربط العديد من التعديلات بمذاهب قانونية صريحة. وفي المقابلات اللاحقة، وصف المحامون الكبار تعاملهم مع مخرجات الذكاء الاصطناعي بوصفها ليست منتجاً نهائياً، بل "مدققاً منطقياً". فقد أضعف ذلك ارتباطهم بالنصوص القائمة واضطرهم إلى توضيح سبب التعديلات الهيكلية وكيفيتها، مما نشّط خبراتهم الأساسية وصقلها.
توجهات إضافية
تحسين الأداء وبناء الحكم المهني الراسخ هما هدفان مختلفان. وبالنسبة للمهنيين المبتدئين على وجه الخصوص، قد يكونان في تناقض مع بعضهما. قد تكون الخبرة الأساسية هي الحلقة المفقودة التي تسمح بتكرار استخدام الذكاء الاصطناعي المدعوم أن يتحول إلى حكم مهني متمرس على مدار المسيرة المهنية. ومن المرجح أن يظل هذا الحكم مهماً حتى مع تقدم قدرات النماذج: فالمحامون سيواصلون استخدام حكمهم في تعاملاتهم مع القضاة والعملاء والزملاء. ولن يتمكنوا من الاعتماد على أداة ذكاء اصطناعي لمساعدتهم في جميع المواقف. ويتمثل التحدي الجوهري في هذه اللحظة الخاصة بالذكاء الاصطناعي في ضمان أن الأدوات المصممة لإنتاج عمل أفضل اليوم لا تمنع المهنيين المبتدئين من أن يصبحوا الخبراء الذين نحتاجهم غداً.
تُعدّ دراسة المهنيين في بيئات عملهم تحديًا للباحثين. تضم تجربتنا عينة محدودة من محامي براءات الاختراع، وهو ما يعكس ارتفاع معدل الأجر بالساعة لدى كبار المهنيين في هذا المجال. ولاحظناهم فقط على مدى ثلاثة أشهر، وهي فترة قصيرة مقارنة بالسنوات التي يحتاجونها لبناء خبرة راسخة. علاوة على ذلك، قد يؤثر التقدم السريع في كل من قدرات النماذج والمعرفة الأساسية بالذكاء الاصطناعي (كذلك انتشار المنتجات المدعومة بالذكاء الاصطناعي في المجال القانوني) خلال العام الماضي على نتائجنا لو أعدنا إجراء التجربة الآن. تفتح هذه القيود فرصًا لمزيد من البحث، ونأمل أن نتابع بعضها في الأشهر المقبلة. ومع ذلك، فإن الاستنتاج الواضح من عملنا هو أن فهم تأثير المساعدة بالذكاء الاصطناعي على المهارة المهنية يتطلب اختبارات تفصل تأثير استخدام الأدوات عن تأثير أداء المستخدم دون مساعدة.
شكر وتقدير
شكر كبير للمؤلفين المشاركين جوش مارتن وزانا إيسينكو وسكوت ستراند وديفيد بيرل وميليسا فيرير؛ وإلى جيمس مانيكا وروث بورات وكينت ووكر وجوش وودوارد وأنو مادجافكار ودانيال روك وفابيان كورتو ميليه على توجيهاتهما ودعمهما؛ وإلى توم شين وموريسيو كارنييرو وجوني جاكوبس وفيكتور لافرينكو ويينهاو صن وصامويل يانغ ودانيال نيشي وإريك وانغ وكيفن لي هاو جينج وفرانتز أوخ من Google Labs على شراكتهم معنا في التجربة؛ وإلى كيرا راسل على إتاحة الوصول إلى المنتج ودعم المختبِرين الموثوقين؛ وإلى ستيف غونغ وتايلور مونتغمري على الإرشاد القانوني ودعم التوظيف؛ وإلى شركائنا في الاتصال والتسويق ومدونة البحوث بمن فيهم كيري ماكهو وزوي أورتيز وإيميلي شورت وجوزيف ماك وإسميرالدا كارديناس وليان تروخيو على قيادة الإطلاق.