أجريت دراسة حديثة من قبل باحثين في جامعتي Stanford و Berkeley الأمريكيتين لاستعراض أداء نموذج اللغة الكبير GPT، والذي يُستخدم في روبوت الدردشة ChatGPT التابع لشركة OpenAI. وكشفت الدراسة أن ChatGPT أصبح أقل ذكاءً بشكل غير متوقع، على عكس التصريحات الرسمية للشركة.

وخلال فترة تجربة النموذجين GPT-3.5 و GPT-4 على مدار بضعة أشهر، لاحظ الباحثون تغييراً كبيراً في سلوكهما، حيث انخفضت دقة ردودهما بشكل ملحوظ. وتؤكد هذه النتائج ملاحظات المستخدمين الذين رأوا تدهورًا واضحًا في أداء النماذج بعد تحديثها.

وفي شهر مارس 2023، كان الإصدار GPT-4 قادرًا على تحديد الأعداد الأولية بدقة تصل إلى 97.6 في المئة، لكن في يونيو 2023 انخفضت دقته بشكل كبير إلى 2.4 في المئة. وأظهرت الدراسة أيضًا زيادة في أخطاء التنسيق في البرمجة خلال الفترة نفسها.

بالرغم من جهود نائب رئيس المنتجات لشركة OpenAI لتبديد الشائعات حول تدهور النماذج، إلا أن النتائج البحثية تؤكد التحسن الملحوظ في أداء النماذج السابقة. وأكد Wilander أن التغييرات الملاحظة قد تكون ناتجة من الاستخدام المتكرر لـ ChatGPT، والتي قد تسبب في ظهور مشكلات لم يتم اكتشافها في البداية.

كما أنه على الرغم من عدم تقديم الباحثين تفسيرات دقيقة لتدهور النماذج، إلا أنهم أشاروا إلى أن هذا التحسن الواضح يتحدى التأكيدات السابقة من OpenAI بأن النماذج دائمًا ما تتحسن. الدراسة أوصت بضرورة دراسة أثر التحديثات المستقبلية على أداء النماذج، حيث قد تؤثر التحسينات في جوانب أخرى من أداء النموذج.