توجه إلى مكتبتنا عند الطلب لعرض الجلسات من VB Transform 2023. سجل هنا
هناك نموذج جديد للغة كبيرة (LLM) في المدينة – اثنان منهم في الواقع – وسيتعرف أطفال التسعينيات على الفور على أسمائهم: FreeWilly1 و FreeWilly2.
كشف النقاب يوم الجمعة عن Stability AI ، الشركة التي تقف وراء توليد صور Stable Diffusion AI والتي أسسها ممول التحوط البريطاني السابق عماد مستاك ، الذي اتُهم بالمبالغة في سيرته الذاتية ، يستند كلا النظامين الجديدين على نسختين من نماذج Meta LLaMA و LLaMA 2 مفتوحة المصدر ، لكن تم تدريبهما على مجموعة بيانات جديدة تمامًا وأصغر ، بما في ذلك البيانات التركيبية.
برع كلا النموذجين في التفكير المعقد والتفاصيل اللغوية والإجابة على الأسئلة المعقدة المتعلقة بمجالات متخصصة مثل القانون والرياضيات.
أصدرت شركة CarperAI التابعة لشركة Stability FreeWillys بموجب “ترخيص غير تجاري” – مما يعني أنه لا يمكن استخدامها لأغراض كسب المال / المؤسسات / الأعمال – وتهدف بدلاً من ذلك إلى تطوير البحث وتعزيز الوصول المفتوح في مجتمع الذكاء الاصطناعي.
حدث
VB Transform 2023 حسب الطلب
هل فاتتك جلسة من VB Transform 2023؟ سجل للوصول إلى المكتبة عند الطلب لجميع جلساتنا المميزة.
سجل الان
أصغر الحيتان ، أكثر صداقة للبيئة
أسماء النماذج عبارة عن مسرحية لمنهجية تدريب الذكاء الاصطناعي “Orca” التي طورها باحثون في Microsoft ، والتي تسمح للنماذج “الأصغر” (تلك المعرضة لبيانات محدودة أكثر) بتحقيق أداء النماذج التأسيسية الكبيرة المعرضة لمجموعات بيانات أكثر ضخامة. (ليست إشارة إلى حيتان الأوركا الغارقة في IRL.)
على وجه التحديد ، تم تدريب FreeWilly1 و FreeWilly2 باستخدام 600000 نقطة بيانات – 10٪ فقط من حجم مجموعة بيانات Orca الأصلية – باستخدام تعليمات من أربع مجموعات بيانات تم إنشاؤها بواسطة Enrico Shippole ، مما يعني أنها كانت أقل تكلفة بكثير وأكثر صداقة للبيئة (باستخدام طاقة أقل وبصمة كربونية أقل) من طراز Orca الأصلي ومعظم LLMs الرائد. لا تزال النماذج تنتج أداءً رائعًا ، يمكن مقارنته بل وتجاوزه في ChatGPT على GPT-3.5 في بعض الحالات.
يُظهر التدريب على البيانات التركيبية نتائج واعدة
إحدى المشكلات التي ظهرت مع تكاثر المزيد من أنظمة الذكاء الاصطناعي (LLM) هي ما يحدث عندما يتم إنشاء المزيد من المحتوى باستخدامها ، ثم يتم تدريب التحديثات المستقبلية لهذه النماذج والنماذج المستقبلية على المحتوى / البيانات التي تم إنشاؤها بواسطة الذكاء الاصطناعي؟
وصفت ورقة مفتوحة الوصول عملية “انهيار النموذج” ، حيث كان أداء LLM المدربين على كميات متزايدة من البيانات التي تم إنشاؤها بواسطة الذكاء الاصطناعي أقل سوءًا من سابقاتها الذين تم تدريبهم على البيانات التي تم إنشاؤها بواسطة الإنسان.
ومع ذلك ، عند تدريب FreeWillys ، استخدم Stability AI الذي تم إنشاؤه اثنين من LLMs لتوليد 500000 مثال و 100000 مثال تركيبي ، على التوالي ، ووجدوا أن FreeWillys لا تزال تعمل بشكل جيد ، مما يدل على أن البيانات التركيبية قد تكون إجابة لانهيار النموذج – ولتجنب استخدام البيانات المحمية بحقوق النشر أو الملكية.
السباحة في المستقبل
الاستقرار تتصور منظمة العفو الدولية أن هذه النماذج تضع معايير جديدة في مجال LLMs ذات الوصول المفتوح ، وتمكين فهم اللغة الطبيعية وتمكين المهام المعقدة.
قال فريق Stability AI: “نحن متحمسون للإمكانيات اللانهائية التي ستوفرها هذه النماذج لمجتمع الذكاء الاصطناعي والتطبيقات الجديدة التي ستلهمها”. يعبرون عن امتنانهم للباحثين والمهندسين والمتعاونين الذين جعل تفانيهم هذا الإنجاز ممكنًا.
يمكن للباحثين والمطورين الوصول إلى أوزان FreeWilly2 كما هي ، بينما يتم إصدار أوزان FreeWilly1 كدلتا على النموذج الأصلي.
مهمة VentureBeat هو أن تكون ساحة المدينة الرقمية لصناع القرار التقنيين لاكتساب المعرفة حول تكنولوجيا المؤسسات التحويلية والمعاملات. اكتشف إحاطاتنا.
اكتشاف المزيد من نص كم
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
