هل ستكون نماذج اللغات الكبيرة أفضل إذا لم تكن كبيرة جدًا؟

عندما يتعلق الأمر بمحادثات الذكاء الاصطناعي ، فعادةً ما يكون الأكبر هو الأفضل.

تتحسن نماذج اللغات الكبيرة مثل ChatGPT و Bard ، التي تنشئ نصًا تحاوريًا أصليًا ، حيث يتم تغذيتها بمزيد من البيانات. كل يوم ، ينتقل المدونون إلى الإنترنت لشرح كيف أن أحدث التطورات – التطبيق الذي يلخص المقالات ، البودكاست الذي تم إنشاؤه بواسطة الذكاء الاصطناعي ، نموذج دقيق يمكنه الإجابة على أي سؤال يتعلق بكرة السلة الاحترافية – سوف “يغير كل شيء”.

لكن جعل الذكاء الاصطناعي أكبر وأكثر قدرة يتطلب قوة معالجة تمتلكها القليل من الشركات ، وهناك قلق متزايد من أن مجموعة صغيرة ، بما في ذلك Google و Meta و OpenAI و Microsoft ، ستمارس سيطرة شبه كاملة على التكنولوجيا.

أيضًا ، يصعب فهم النماذج اللغوية الأكبر. غالبًا ما توصف بأنها “الصناديق السوداء” ، حتى من قبل الأشخاص الذين صمموها ، وقد عبرت شخصيات بارزة في هذا المجال عن “عدم ارتياحها” لأن أهداف الذكاء الاصطناعي قد لا تتوافق في النهاية مع أهدافنا. إذا كان الحجم الأكبر هو الأفضل ، فهو أيضًا أكثر غموضًا وأكثر حصرية.

في يناير ، أصدرت مجموعة من الأكاديميين الشباب العاملين في معالجة اللغة الطبيعية – فرع الذكاء الاصطناعي الذي يركز على الفهم اللغوي – تحديًا لمحاولة قلب هذا النموذج رأساً على عقب. دعت المجموعة الفرق إلى إنشاء نماذج لغة وظيفية – باستخدام مجموعات بيانات تقل عن واحد على عشرة آلاف من حجم تلك المستخدمة بواسطة نماذج اللغات الكبيرة الأكثر تقدمًا. سيكون النموذج المصغر الناجح قادرًا تقريبًا مثل النماذج المتطورة ولكنه أصغر بكثير وأكثر سهولة في الوصول إليه وأكثر توافقًا مع البشر. يسمى المشروع تحدي BabyLM.

قال آرون مولر ، عالم الكمبيوتر في جامعة جونز هوبكنز ومنظم BabyLM: “نحن نتحدى الناس للتفكير بشكل صغير والتركيز أكثر على بناء أنظمة فعالة بهذه الطريقة يمكن لعدد أكبر من الناس استخدامها”.

أضاف أليكس وارستادت ، عالم الكمبيوتر في ETH Zurich ومنظم آخر للمشروع ، “يطرح التحدي أسئلة حول تعلم اللغة البشرية ، بدلاً من” ما هو حجم نماذجنا؟ ” في قلب المحادثة “.

نماذج اللغة الكبيرة عبارة عن شبكات عصبية مصممة للتنبؤ بالكلمة التالية في جملة أو عبارة معينة. يتم تدريبهم على هذه المهمة باستخدام مجموعة من الكلمات التي تم جمعها من النصوص والمواقع الإلكترونية والروايات والصحف. يقوم النموذج النموذجي بعمل التخمينات بناءً على أمثلة العبارات ثم يعدل نفسه بناءً على مدى قربه من الإجابة الصحيحة.

من خلال تكرار هذه العملية مرارًا وتكرارًا ، يشكل النموذج خرائط لكيفية ارتباط الكلمات ببعضها البعض. بشكل عام ، كلما زاد عدد الكلمات التي يتم تدريب النموذج عليها ، كان ذلك أفضل ؛ توفر كل عبارة للنموذج سياقًا ، والمزيد من السياق يُترجم إلى انطباع أكثر تفصيلاً عما تعنيه كل كلمة. تم تدريب GPT-3 من OpenAI ، الذي تم إصداره في عام 2020 ، على 200 مليار كلمة ؛ تم تدريب شينشيلا DeepMind’s ، الذي صدر في عام 2022 ، على تريليون.

بالنسبة لإيثان ويلكوكس ، عالم لغوي في ETH Zurich ، فإن حقيقة أن شيئًا غير بشري يمكن أن يولد لغة تقدم فرصة مثيرة: هل يمكن استخدام نماذج لغة الذكاء الاصطناعي لدراسة كيفية تعلم البشر للغة؟

على سبيل المثال ، تدعي الأصولية ، وهي نظرية مؤثرة تعود إلى أعمال نعوم تشومسكي المبكرة ، أن البشر يتعلمون اللغة بسرعة وكفاءة لأن لديهم فهمًا فطريًا لكيفية عمل اللغة. لكن النماذج اللغوية تتعلم اللغة بسرعة أيضًا ، وعلى ما يبدو بدون فهم فطري لكيفية عمل اللغة – لذلك ربما لا يصمد المذهب الأبوي.

التحدي هو أن النماذج اللغوية تتعلم بشكل مختلف تمامًا عن البشر. البشر لديهم أجساد وحياة اجتماعية وأحاسيس غنية. يمكننا أن نشم رائحة النشارة ، ونشعر بريش الريش ، ونصطدم بالأبواب ونتذوق النعناع. في البداية ، نتعرض للكلمات المنطوقة البسيطة والتراكيب اللغوية التي لا يتم تمثيلها في الغالب في الكتابة. لذا ، خلص الدكتور ويلكوكس إلى أن الكمبيوتر الذي ينتج اللغة بعد أن يتم تدريبه على أعداد هائلة من الكلمات المكتوبة يمكنه أن يخبرنا فقط بالكثير عن عمليتنا اللغوية.

ولكن إذا تعرض نموذج لغوي فقط للكلمات التي يصادفها شاب بشري ، فقد يتفاعل مع اللغة بطرق يمكن أن تعالج أسئلة معينة لدينا حول قدراتنا.

لذلك ، جنبًا إلى جنب مع نصف دزينة من الزملاء ، تصور الدكتور ويلكوكس والدكتور مولر والدكتور وارستادت تحدي BabyLM ، لمحاولة دفع النماذج اللغوية بشكل أقرب قليلاً إلى الفهم البشري. في كانون الثاني (يناير) ، أرسلوا دعوة للفرق لتدريب نماذج لغوية على نفس عدد الكلمات التي يواجهها إنسان يبلغ من العمر 13 عامًا – حوالي 100 مليون. سيتم اختبار النماذج المرشحة على مدى جودة ظهورها والتقاط الفروق الدقيقة في اللغة ، وسيتم الإعلان عن الفائز.

واجهت إيفا بورتلانس ، عالمة اللغة في جامعة ماكجيل ، التحدي في اليوم الذي تم الإعلان عنه. يمتد بحثها على الخط الباهت غالبًا بين علوم الكمبيوتر واللغويات. كانت الغزوات الأولى للذكاء الاصطناعي ، في الخمسينيات ، مدفوعة بالرغبة في نمذجة القدرات المعرفية البشرية في أجهزة الكمبيوتر. الوحدة الأساسية لمعالجة المعلومات في الذكاء الاصطناعي هي “الخلايا العصبية” ، ونماذج اللغة المبكرة في الثمانينيات والتسعينيات كانت مستوحاة مباشرة من الدماغ البشري. ‌

ولكن مع ازدياد قوة المعالجات ، وبدأت الشركات في العمل نحو منتجات قابلة للتسويق ، أدرك علماء الكمبيوتر أنه غالبًا ما كان من الأسهل تدريب النماذج اللغوية على كميات هائلة من البيانات بدلاً من إجبارها على تكوين هياكل مستنيرة نفسياً. ونتيجة لذلك ، قال الدكتور بورتيلانس: “إنهم يعطوننا نصًا يشبه البشر ، لكن لا يوجد اتصال بيننا وبين كيفية عملهم”. ‌

للعلماء المهتمين بفهم كيفية عمل العقل البشري ، تقدم هذه النماذج الكبيرة رؤية محدودة. ولأنها تتطلب قوة معالجة هائلة ، يمكن لعدد قليل من الباحثين الوصول إليها. “لا يستطيع سوى عدد قليل من مختبرات الصناعة ذات الموارد الضخمة تدريب نماذج بمليارات من المعلمات على تريليونات الكلمات” ، د. قال ويلكوكس.

وأضاف الدكتور مولر “أو حتى تحميلها”. “لقد جعل هذا البحث في هذا المجال يبدو أقل ديمقراطية في الآونة الأخيرة.”

قال الدكتور بورتيلانس إن تحدي BabyLM يمكن اعتباره خطوة بعيدًا عن سباق التسلح لنماذج لغوية أكبر ، وخطوة نحو ذكاء اصطناعي أكثر سهولة وسهولة في الاستخدام.

لم تتجاهل مختبرات الصناعة الأكبر إمكانات مثل هذا البرنامج البحثي. قال سام التمان ، الرئيس التنفيذي لشركة OpenAI ، مؤخرًا إن زيادة حجم نماذج اللغة لن تؤدي إلى نفس النوع من التحسينات التي شوهدت على مدار السنوات القليلة الماضية. وتستثمر شركات مثل Google و Meta أيضًا في البحث في نماذج لغوية أكثر كفاءة ، مستنيرة من الهياكل المعرفية البشرية. بعد كل شيء ، يمكن أيضًا توسيع نطاق النموذج الذي يمكنه إنشاء لغة عند تدريبه على بيانات أقل.

مهما كانت الأرباح التي قد تجنيها BabyLM الناجحة ، فإن الأهداف بالنسبة لمن يقفون وراء التحدي أكثر أكاديمية وتجريدية. حتى الجائزة تفسد العملي. قال الدكتور ويلكوكس “مجرد فخر”.