انضم إلى كبار المديرين التنفيذيين في سان فرانسيسكو يومي 11 و 12 يوليو ، لمعرفة كيف يدمج القادة استثمارات الذكاء الاصطناعي ويحسنونها لتحقيق النجاح. يتعلم أكثر
وفقًا لبحث جديد من معهد Allen للذكاء الاصطناعي ، يمكن ضبط ChatGPT عن غير قصد أو بشكل ضار ليصبح سامًا فقط عن طريق تغيير الشخصية المخصصة له في إعدادات نظام النموذج.
الدراسة – التي يقول الباحثون إنها أول تحليل سمية واسع النطاق لـ ChatGPT – وجدت أن نموذج اللغة الكبيرة (LLM) يحمل سمية متأصلة تصل إلى 6x عند تعيين مجموعة متنوعة من الشخصيات (مثل الشخصيات التاريخية ، المهنة) ، إلخ). تم فحص ما يقرب من 100 شخصية من خلفيات متنوعة عبر أكثر من نصف مليون من أجيال ChatGPT – بما في ذلك الصحفيين والسياسيين والرياضيين ورجال الأعمال ، بالإضافة إلى مختلف الأعراق والأجناس والتوجهات الجنسية.
يمكن أن يؤدي تعيين الأشخاص إلى تغيير إخراج ChatGPT
يمكن لإعدادات النظام هذه لتعيين الشخصيات تغيير إخراج ChatGPT بشكل ملحوظ. قال تانماي راجبوروهيت ، أحد مؤلفي الدراسة ، لـ VentureBeat في مقابلة: “يمكن في الواقع أن تكون الردود مختلفة تمامًا ، على طول الطريق من أسلوب الكتابة إلى المحتوى نفسه”. ويمكن الوصول إلى الإعدادات من قبل أي شخص يقوم بالبناء على ChatGPT باستخدام واجهة برمجة تطبيقات OpenAI ، لذلك قد يكون تأثير هذه السمية واسع النطاق. على سبيل المثال ، يمكن أن تُظهر روبوتات الدردشة والمكونات الإضافية المبنية على ChatGPT من شركات مثل Snap و Instacart و Shopify سمية.
البحث مهم أيضًا لأنه بينما افترض الكثيرون أن تحيز ChatGPT موجود في بيانات التدريب ، أظهر الباحثون أن النموذج يمكنه تطوير “رأي” حول الأشخاص أنفسهم ، بينما تثير الموضوعات المختلفة أيضًا مستويات مختلفة من السمية.
حدث
تحويل 2023
انضم إلينا في سان فرانسيسكو يومي 11 و 12 يوليو ، حيث سيشارك كبار المسؤولين التنفيذيين في كيفية دمج استثمارات الذكاء الاصطناعي وتحسينها لتحقيق النجاح وتجنب المزالق الشائعة.
سجل الان
وأكدوا أن تعيين الشخصيات في إعدادات النظام غالبًا ما يكون جزءًا أساسيًا من بناء روبوت محادثة. قال راجبوروهيت: “إن القدرة على تعيين شخصية أمر ضروري للغاية” ، لأن صانع روبوت الدردشة يحاول غالبًا جذب الجمهور المستهدف من المستخدمين الذين سيستخدمونه ويتوقعون سلوكًا وقدرات مفيدة من النموذج.
هناك أسباب أخرى حميدة أو إيجابية لاستخدام معلمات إعدادات النظام ، مثل تقييد سلوك النموذج – لإخبار النموذج بعدم استخدام محتوى صريح ، على سبيل المثال ، أو للتأكد من أنه لا يقول أي شيء له رأي سياسي.
تجعل إعدادات النظام أيضًا نماذج LLM عرضة للخطر
لكن نفس الخاصية التي تجعل الذكاء الاصطناعي التوليدي يعمل بشكل جيد كعامل حوار يجعل النماذج أيضًا عرضة للخطر. قال أميت ديشباندي ، أحد مؤلفي الدراسة الآخرين ، إذا كان فاعلًا خبيثًا ، فإن الدراسة تظهر أن “الأشياء يمكن أن تصبح سيئة حقًا ، وبسرعة حقًا” من حيث الناتج السام. “يمكن للمستخدم الضار تعديل معلمة النظام لتغيير ChatGPT تمامًا إلى نظام يمكن أن ينتج عنه مخرجات ضارة بشكل متسق.” بالإضافة إلى ذلك ، قال ، حتى الشخص المطمئن الذي يعدل معلمة النظام ، قد يقوم بتعديله إلى شيء يغير سلوك ChatGPT ويجعله متحيزًا وربما ضارًا.
وجدت الدراسة أن السمية في ناتج ChatGPT تختلف اختلافًا كبيرًا اعتمادًا على الشخص المعين. يبدو أن فهم ChatGPT الخاص للشخصيات الفردية من بيانات التدريب الخاصة به يؤثر بشدة على مدى سمية السلوك المعين للشخصية – والتي يقول الباحثون إنها يمكن أن تكون قطعة أثرية للبيانات الأساسية وإجراءات التدريب. على سبيل المثال ، وجدت الدراسة أن الصحفيين هم ضعف سموم رجال الأعمال.
قال أشوين كاليان ، أحد مؤلفي الدراسة الآخرين: “إحدى النقاط التي نحاول أن نعيدها إلى المنزل هي أنه نظرًا لأن ChatGPT هو نموذج لغوي قوي جدًا ، يمكنه في الواقع محاكاة سلوكيات شخصيات مختلفة”. لذا فهو ليس مجرد تحيز للنموذج بأكمله ، إنه أعمق بكثير من ذلك ، إنه تحيز لكيفية تفسير النموذج لشخصيات مختلفة وكيانات مختلفة أيضًا. لذا فهي قضية أعمق مما رأيناه من قبل “.
وبينما درس البحث فقط ChatGPT (وليس GPT-4) ، يمكن تطبيق منهجية التحليل على أي نموذج لغوي كبير. قال كاليان: “لن يكون مفاجئًا حقًا إذا كان لدى النماذج الأخرى تحيزات مماثلة”.
مهمة VentureBeat هو أن تكون ساحة المدينة الرقمية لصناع القرار التقنيين لاكتساب المعرفة حول تكنولوجيا المؤسسات التحويلية والمعاملات. اكتشف إحاطاتنا.
اكتشاف المزيد من نص كم
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
