تميّز أجهزة الكشف بالذكاء الاصطناعي ضد المتحدثين بالإنجليزية غير الأصليين

البرامج التي تهدف إلى التمييز بين نص chatbot والكتابة البشرية لديها أكثر من القليل من المشاكل. إليك طريقة جديدة لإضافتها إلى القائمة: غالبًا ما تصنف أجهزة الكشف عن الذكاء الاصطناعي الكتابة التي كتبها غير الناطقين باللغة الإنجليزية بشكل غير صحيح على أنها مكتوبة بواسطة الروبوت. في أكثر من نصف الوقت ، افترضت أجهزة الكشف عن الذكاء الاصطناعي خطأً أن الكتابة من متحدثي اللغة الإنجليزية ليست لغتهم الأم إنشاء الذكاء الاصطناعي ، وفقًا لـ دراسة نشرت الاثنين في مجلة أنماط.

في عالم يظهر فيه الذكاء الاصطناعي التوليدي في كل مكان (و أعني في كل مكان) ، فإن القدرة على فصل الانحدار الذي تم إنشاؤه بواسطة الذكاء الاصطناعي عن الكلمات المكتوبة بواسطة إنسان حقيقي تزداد أهمية. يجب أن يكون المتقدمون للوظائف والطلاب وغيرهم ممن يتم تقييمهم بشكل روتيني بناءً على قدرتهم على الكتابة قادرين على تقديم العمل دون خوف من أن يُنسب إلى برنامج كمبيوتر. في الوقت نفسه ، يجب أن يكون المعلمون والأساتذة ومديرو التوظيف قادرين بشكل مثالي على معرفة متى يقدم شخص ما جهوده وأنفسهم بأمانة.

لكن بفضل نماذج لغة أكبر من أي وقت مضى– مُدرّبًا على مجموعات بيانات هائلة – أصبح من الصعب أكثر فأكثر التمييز بين عمل الشخص من مخرجات روبوت الدردشة الآلي المحددة حسابيا (على الأقل حتى تتحقق من حقيقة الأمر). بنفس الطريقة التي يتم بها التزييف العميق للصورة والصوت والفيديو أصبح من الصعب اكتشافه بشكل مقلق، نص AI هو تزداد صعوبة التعرف عليها.

بدأت العديد من الشركات في محاولة معالجة المشكلة من خلال تطوير برامج الكشف عن الذكاء الاصطناعي ، والتي تهدف إلى القدرة على تحليل ملف شخص من ‘puter. حتى Open AI ، الشركة المسؤولة إلى حد كبير عن الازدهار الحالي في الذكاء الاصطناعي التوليدي، جربت يدها في إنشاء أداة للكشف عن الذكاء الاصطناعي. لكن تنبيه المفسد: لا تعمل معظم أدوات اكتشاف الذكاء الاصطناعي هذه بشكل جيد ، أو محدودة استخدم حالات، على الرغم من ادعاءات المطورين بمقاييس لا يمكن التحقق منها مثل “دقة 99٪.“

علاوة على عدم كونها رائعة ، بشكل عام ، قد تكون الأدوات كذلكتنتج تحيزات بشرية –تمامًا كما يفعل الذكاء الاصطناعي التوليدي نفسه.

في الدراسة الجديدة ، قام الباحثون بتقييم 91 مقالاً في اختبار TOEFL (اختبار اللغة الإنجليزية كلغة أجنبية) كتبها غير الناطقين بها ، باستخدام سبعة أجهزة كشف GPT “مستخدمة على نطاق واسع”. للمقارنة ، قاموا أيضًا بتشغيل 99 مقالًا لطلاب الصف الثامن في الولايات المتحدة من خلال نفس مجموعة أدوات الكشف عن الذكاء الاصطناعي. على الرغم من أن أجهزة الكشف صنفت بشكل صحيح أكثر من 90٪ من مقالات الصف الثامن على أنها مكتوبة بشريًا ، إلا أن أدوات التصنيف لم تكن عادلة تقريبًا مع عمل TOEFL.

في جميع أجهزة كشف GPT السبعة ، كان متوسط ​​معدل الكشف الخاطئ للمقالات التي كتبها غير الناطقين باللغة الإنجليزية 61.3٪. واحد على الأقل من الكاشفات وصف خطأً ما يقرب من 98٪ من مقالات TOEFL على أنها من إنتاج الذكاء الاصطناعي. حددت جميع الكواشف بالإجماع نفس الجزء الذي يقارب 20٪ من عمل TOEFL الذي تم إنتاجه بواسطة الذكاء الاصطناعي ، على الرغم من أنه مكتوب بشريًا.

تعمل معظم أجهزة الكشف عن الذكاء الاصطناعي من خلال تقييم النص على مقياس يسمى “الحيرة” ، اكسب مؤلفو الدراسةملطخ. الحيرة هي في الأساس مقياس لمدى عدم توقع كلمة ما في سياق سلسلة نصية. إذا كان من السهل التنبؤ بكلمة ما في ضوء الكلمات السابقة ، فإن الاحتمالات من الناحية النظرية أعلى من الذكاء الاصطناعي مسؤول عن الجملة ، حيث تستخدم هذه النماذج اللغوية الكبيرة خوارزميات احتمالية لضخ سلطة كلمة منظمة بشكل مقنع. إنه الإكمال التلقائي على المنشطات.

ومع ذلك ، يميل المتحدثون غير الناطقين بأي لغة إلى الكتابة بتلك اللغة بمفردات محدودة نسبيًا ويمكن التنبؤ بها نطاق القواعد. والتي يمكن أن تؤدي إلى جمل وفقرات أكثر قابلية للتنبؤ. وجد الباحثون أنه من خلال تقليل تكرار الكلمات ببساطة في نماذج مقالات اختبار TOEFL ، تمكنوا من تقليل عدد الإيجابيات الخاطئة التي ظهرت في اكتشاف الذكاء الاصطناعي بشكل كبير. برمجة. بالمقابل تبسيط اللغة في الصف الثامن أدت المقالات إلى اعتبار المزيد منها مخطئًا لإبداعات الذكاء الاصطناعي.

كما يشير البحث الجديد ، قد يتسبب هذا في مشكلة كبيرة لغير الناطقين باللغة الإنجليزية ، والذين يواجهون بالفعل تمييزًا في سوق العمل والبيئات الأكاديمية. على الإنترنت الأوسع أيضًا ، مثل هذه الأخطاء المتسقة في كاشف الذكاء الاصطناعي يمكن أن يؤدي إلى تضخيم الإجحاف القائم.

كتب المؤلفون: “في وسائل التواصل الاجتماعي ، يمكن لأجهزة كشف GPT أن تبرز بشكل زائف محتوى المؤلفين غير الأصليين باعتباره انتحالًا للذكاء الاصطناعي ، مما يمهد الطريق لمضايقات غير مبررة لمجتمعات معينة غير أصلية”. “محركات البحث على الإنترنت ، مثل Google ، التي تنفذ آليات لتقليل قيمة المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي قد تقيد عن غير قصد ظهور المجتمعات غير الأصلية ، مما قد يؤدي إلى إسكات وجهات النظر المتنوعة.”

حتى اكتشاف الذكاء الاصطناعي يتحسن بشكل ملحوظ ، “نحن نحذر بشدة من استخدام أجهزة الكشف عن GPT في البيئات التقييمية أو التعليمية ، لا سيما عند تقييم عمل المتحدثين غير الناطقين باللغة الإنجليزية.” ومع ذلك ، من الصعب معرفة كيفية اكتشاف الذكاء الاصطناعي (التي تعمل غالبًا على نموذج ذكاء اصطناعي مشابه) يمكن أن تتعلم حقًا التفوق على نفسها.