حلقة التغذية الراجعة للذكاء الاصطناعي: يحذر الباحثون من “انهيار النموذج” بينما يتدرب الذكاء الاصطناعي على المحتوى الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي

لقد حان عصر الذكاء الاصطناعي التوليدي: بعد ستة أشهر فقط من ظهور ChatGPT التابع لشركة OpenAI ، حيث أن العديد من نصف موظفي بعض الشركات العالمية الرائدة يستخدمون بالفعل هذا النوع من التكنولوجيا في سير عملهم ، والعديد من الشركات الأخرى تسارع لتقديم خدمات جديدة المنتجات ذات الذكاء الاصطناعي التوليدي المدمج.

ولكن ، كما يعلم أولئك الذين يتابعون الصناعة المزدهرة والأبحاث الأساسية الخاصة بها ، فإن البيانات المستخدمة لتدريب نماذج اللغات الكبيرة (LLMs) ونماذج المحولات الأخرى التي تقوم عليها منتجات مثل ChatGPT و Stable Diffusion و Midjourney تأتي في البداية من مصادر بشرية – كتب ومقالات والصور الفوتوغرافية وما إلى ذلك – التي تم إنشاؤها بدون مساعدة الذكاء الاصطناعي.

الآن ، مع استخدام المزيد من الأشخاص للذكاء الاصطناعي لإنتاج المحتوى ونشره ، يبرز سؤال واضح: ماذا يحدث عندما ينتشر المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي في جميع أنحاء الإنترنت ، وتبدأ نماذج الذكاء الاصطناعي في التدريب عليه ، بدلاً من المحتوى الذي ينشئه الإنسان في المقام الأول؟

بحثت مجموعة من الباحثين من المملكة المتحدة وكندا في هذه المشكلة بالذات ونشروا مؤخرًا ورقة بحثية عن عملهم في مجلة الوصول المفتوح arXiv. ما وجدوه مثير للقلق بالنسبة لتكنولوجيا الذكاء الاصطناعي التوليدية الحالية ومستقبلها: “وجدنا أن استخدام المحتوى الناتج عن النموذج في التدريب يسبب عيوبًا لا رجعة فيها في النماذج الناتجة.”

ملء الإنترنت بالبلاهة

على وجه التحديد ، بالنظر إلى التوزيعات الاحتمالية للنماذج التوليدية للذكاء الاصطناعي من نص إلى نص ومن صورة إلى صورة ، خلص الباحثون إلى أن “التعلم من البيانات التي تنتجها النماذج الأخرى يسبب انهيار النموذج – عملية تنكسية حيث تنسى النماذج بمرور الوقت توزيع البيانات الأساسي الحقيقي … هذه العملية لا مفر منها ، حتى في الحالات التي تكاد تكون مثالية للتعلم طويل الأجل. “

كتب إيليا شومايلوف ، أحد مؤلفي الورقة الرئيسيين ، في رسالة بريد إلكتروني إلى VentureBeat: “بمرور الوقت ، تتراكم الأخطاء في البيانات المتولدة ، وفي النهاية تفرض النماذج التي تتعلم من البيانات التي تم إنشاؤها على تصور خاطئ للواقع إلى أبعد من ذلك”. “لقد فوجئنا بمراقبة سرعة حدوث انهيار النموذج: يمكن للنماذج أن تنسى بسرعة معظم البيانات الأصلية التي تعلموها في البداية.”

بعبارة أخرى: نظرًا لأن نموذج تدريب الذكاء الاصطناعي يتعرض لمزيد من البيانات التي تم إنشاؤها بواسطة الذكاء الاصطناعي ، فإنه يعمل بشكل أسوأ بمرور الوقت ، وينتج المزيد من الأخطاء من حيث الاستجابات والمحتوى الذي يولده ، وينتج تنوعًا أقل غير خاطئ في استجاباته.

كما كتب روس أندرسون ، أستاذ هندسة الأمن في جامعة كامبريدج وجامعة إدنبرة ، أحد مؤلفي الورقة البحثية ، في منشور بالمدونة يناقش الورقة: “تمامًا كما نثرت المحيطات بالقمامة البلاستيكية وملأنا الغلاف الجوي بثاني أكسيد الكربون ، فنحن على وشك ملء الإنترنت بالبلاهة. سيؤدي ذلك إلى زيادة صعوبة تدريب النماذج الجديدة عن طريق إزالة الويب ، وإعطاء ميزة للشركات التي فعلت ذلك بالفعل ، أو التي تتحكم في الوصول إلى واجهات الإنسان على نطاق واسع. في الواقع ، نرى بالفعل شركات ناشئة في مجال الذكاء الاصطناعي تعمل على تطوير أرشيف الإنترنت للحصول على بيانات التدريب “.

تيد شيانغ ، مؤلف الخيال العلمي المشهور “قصة حياتك” ، الرواية التي ألهمت الفيلم وصول، وكاتب في Microsoft ، نشر مؤخرًا مقالاً في نيويوركر افترض أن نسخ AI من النسخ ستؤدي إلى تدهور الجودة ، وتشبه المشكلة بالقطع الأثرية المتزايدة التي يمكن رؤيتها عندما يقوم أحد بنسخ صورة JPEG بشكل متكرر.

هناك طريقة أخرى للتفكير في المشكلة مثل فيلم الخيال العلمي الكوميدي عام 1996 تعدد بطولة مايكل كيتون ، حيث يقوم رجل متواضع باستنساخ نفسه ثم استنساخ الحيوانات المستنسخة ، كل منها يؤدي إلى انخفاض مستويات الذكاء بشكل كبير وزيادة الغباء.

كيف يحدث “انهيار النموذج”

في الأساس ، يحدث انهيار النموذج عندما تنتهي نماذج الذكاء الاصطناعي للبيانات بتلويث مجموعة التدريب للنماذج اللاحقة.

أوضح شومايلوف أن “البيانات الأصلية التي تم إنشاؤها من قبل البشر تمثل العالم بشكل أكثر إنصافًا ، أي أنها تحتوي أيضًا على بيانات غير محتملة”. “النماذج التوليدية ، من ناحية أخرى ، تميل إلى الإفراط في استيعاب البيانات الشائعة وغالبًا ما تسيء فهم / تحريف البيانات الأقل شيوعًا.”

أوضح شومايلوف هذه المشكلة من خلال سيناريو افتراضي لـ VentureBeat ، حيث يتم تدريب نموذج التعلم الآلي على مجموعة بيانات مع صور 100 قطط – 10 منهم بفرو أزرق ، و 90 منهم باللون الأصفر. يتعلم النموذج أن القطط الصفراء أكثر انتشارًا ، ولكنه يمثل أيضًا القطط الزرقاء على أنها أكثر صفراء مما هي عليه بالفعل ، ويعيد بعض نتائج القطط الخضراء عندما يُطلب منك إنتاج بيانات جديدة. بمرور الوقت ، تآكلت السمة الأصلية للفراء الأزرق من خلال دورات التدريب المتتالية ، وتحولت من اللون الأزرق إلى الأخضر ، ثم الأصفر في النهاية. هذا التشويه التدريجي والفقدان النهائي لخصائص بيانات الأقلية هو انهيار النموذج. لمنع ذلك ، من المهم ضمان التمثيل العادل للأقليات في مجموعات البيانات ، سواء من حيث الكمية أو التصوير الدقيق للسمات المميزة. المهمة صعبة بسبب صعوبة تعلم النماذج من الأحداث النادرة.

ينتج عن هذا “التلوث” بالبيانات الناتجة عن الذكاء الاصطناعي تصور مشوه للواقع من خلال النماذج. حتى عندما قام الباحثون بتدريب النماذج على عدم إنتاج الكثير من الاستجابات المتكررة ، وجدوا أنه لا يزال يحدث انهيار النموذج ، حيث ستبدأ النماذج في تكوين استجابات خاطئة لتجنب تكرار البيانات بشكل متكرر.

قال شومايلوف: “هناك العديد من الجوانب الأخرى التي ستؤدي إلى تداعيات أكثر خطورة ، مثل التمييز على أساس الجنس أو العرق أو أي سمات حساسة أخرى” ، كما قال شومايلوف ، خاصة إذا تعلم الذكاء الاصطناعي التوليدي بمرور الوقت إنتاج عرق واحد في استجاباته ، بينما “النسيان” موجودون.

من المهم ملاحظة أن هذه الظاهرة تختلف عن “النسيان الكارثي” ، حيث تفقد النماذج المعلومات التي تم تعلمها سابقًا. في المقابل ، ينطوي انهيار النموذج على نماذج تسيء تفسير الواقع بناءً على معتقداتهم المعززة.

وجد الباحثون وراء هذه الورقة البحثية أنه حتى لو تم استخدام 10٪ من البيانات الأصلية التي كتبها الإنسان لتدريب النموذج في الأجيال اللاحقة ، فإن “انهيار النموذج لا يزال يحدث ، ولكن ليس بالسرعة نفسها” ، كما قال شومايلوف لموقع VentureBeat.

طرق لتجنب “انهيار النموذج”

لحسن الحظ ، هناك طرق لتجنب انهيار النموذج ، حتى مع المحولات الحالية و LLMs.

يسلط الباحثون الضوء على طريقتين محددتين: الاحتفاظ بنسخة هيبة من مجموعة البيانات الأصلية التي ينتجها الإنسان حصريًا أو اسميًا ، وتجنب التلوث بالبيانات التي تم إنشاؤها بواسطة الذكاء الاصطناعي. بعد ذلك ، يمكن إعادة تدريب النموذج بشكل دوري على هذه البيانات ، أو تحديثه بالكامل ، بدءًا من نقطة الصفر.

الطريقة الثانية لتجنب تدهور جودة الاستجابة وتقليل الأخطاء أو التكرارات غير المرغوب فيها من أوضاع الذكاء الاصطناعي هي إعادة إدخال مجموعات بيانات جديدة ونظيفة من صنع الإنسان في تدريبهم.

ومع ذلك ، كما يشير الباحثون ، فإن هذا سيتطلب نوعًا من آلية وضع العلامات الجماعية أو جهدًا من قبل منتجي المحتوى أو شركات الذكاء الاصطناعي للتمييز بين المحتوى الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي والمحتوى الذي ينشئه الإنسان. في الوقت الحالي ، لا يوجد مثل هذا الجهد الموثوق أو الواسع النطاق عبر الإنترنت.

قال شومايلوف لموقع VentureBeat: “لوقف انهيار النموذج ، نحتاج إلى التأكد من تمثيل مجموعات الأقليات من البيانات الأصلية بشكل عادل في مجموعات البيانات اللاحقة”.

“من الناحية العملية ، هذا أمر غير تافه على الإطلاق. يجب نسخ البيانات احتياطيًا بعناية ، وتغطية جميع حالات الزاوية الممكنة. عند تقييم أداء النماذج ، استخدم البيانات التي من المتوقع أن يعمل عليها النموذج ، حتى حالات البيانات الأكثر احتمالًا. لاحظ أن هذا لا يعني أن البيانات غير المحتملة يجب أن يتم أخذ عينات منها بشكل زائد عن الحد ، ولكن يجب تمثيلها بشكل مناسب. نظرًا لأن التقدم يدفعك إلى إعادة تدريب النماذج الخاصة بك ، تأكد من تضمين البيانات القديمة وكذلك الجديدة. سيؤدي هذا إلى زيادة تكلفة التدريب ، ولكنه سيساعدك على مواجهة انهيار النموذج ، على الأقل إلى حد ما “.

ما الذي يمكن أن تفعله صناعة الذكاء الاصطناعي والمستخدمون حيال ذلك في المستقبل

في حين أن كل هذه الأخبار مقلقة بالنسبة لتكنولوجيا الذكاء الاصطناعي التوليدية الحالية والشركات التي تسعى إلى تحقيق الدخل منها ، خاصة على المدى المتوسط ​​إلى الطويل ، إلا أن هناك جانبًا مضيئًا لمنشئي المحتوى البشري: استنتج الباحثون أنه في المستقبل المليء بالجينات. أدوات الذكاء الاصطناعي ومحتواها ، سيكون المحتوى الذي أنشأه الإنسان أكثر قيمة مما هو عليه اليوم – ولو كمصدر لبيانات التدريب الأصلية للذكاء الاصطناعي.

هذه النتائج لها آثار كبيرة على مجال الذكاء الاصطناعي ، مع التأكيد على الحاجة إلى تحسين المنهجيات للحفاظ على سلامة النماذج التوليدية بمرور الوقت. إنها تؤكد على مخاطر العمليات التوليدية غير الخاضعة للرقابة وقد توجه البحث المستقبلي لتطوير استراتيجيات لمنع أو إدارة انهيار النموذج.

قال شومايلوف: “من الواضح على الرغم من أن انهيار النموذج يمثل مشكلة بالنسبة لتعلم الآلة وأنه يجب القيام بشيء حيال ذلك لضمان استمرار تحسن الذكاء الاصطناعي التوليدي”.