اخبار

أعلنت شركة OpenAI عن برنامج مكافأة الأخطاء لمعالجة مخاطر أمان الذكاء الاصطناعي


انضم إلى كبار المديرين التنفيذيين في سان فرانسيسكو يومي 11 و 12 يوليو ، لمعرفة كيف يدمج القادة استثمارات الذكاء الاصطناعي ويحسنونها لتحقيق النجاح. يتعلم أكثر


أعلن OpenAI ، وهو مختبر أبحاث رائد في مجال الذكاء الاصطناعي (AI) ، اليوم عن إطلاق برنامج مكافأة الأخطاء للمساعدة في معالجة مخاطر الأمن السيبراني المتزايدة التي تفرضها نماذج اللغة القوية مثل ChatGPT الخاص بها.

يدعو البرنامج – الذي يتم إدارته بالشراكة مع شركة الأمن السيبراني Bugcrowd – الباحثين المستقلين إلى الإبلاغ عن نقاط الضعف في أنظمة OpenAI مقابل مكافآت مالية تتراوح من 200 دولار إلى 20000 دولار اعتمادًا على شدتها. قالت شركة OpenAI إن البرنامج جزء من “التزامها بتطوير ذكاء اصطناعي آمن ومتقدم”.

تصاعدت المخاوف في الأشهر الأخيرة بشأن نقاط الضعف في أنظمة الذكاء الاصطناعي التي يمكن أن تولد نصًا تركيبيًا وصورًا ووسائط أخرى. وجد الباحثون زيادة بنسبة 135٪ في هجمات الهندسة الاجتماعية المدعومة بالذكاء الاصطناعي من يناير إلى فبراير ، بالتزامن مع اعتماد ChatGPT ، وفقًا لشركة DarkTrace للأمن السيبراني للذكاء الاصطناعي.

بينما رحب بعض الخبراء بإعلان OpenAI ، قال آخرون إن برنامج مكافأة الأخطاء من غير المرجح أن يعالج بشكل كامل مجموعة واسعة من مخاطر الأمن السيبراني التي تفرضها تقنيات الذكاء الاصطناعي المتطورة بشكل متزايد.

حدث

تحويل 2023

انضم إلينا في سان فرانسيسكو يومي 11 و 12 يوليو ، حيث سيشارك كبار المسؤولين التنفيذيين في كيفية دمج استثمارات الذكاء الاصطناعي وتحسينها لتحقيق النجاح وتجنب المزالق الشائعة.

سجل الان

يقتصر نطاق البرنامج على نقاط الضعف التي يمكن أن تؤثر بشكل مباشر على أنظمة OpenAI وشركائها. لا يبدو أنه يعالج المخاوف الأوسع نطاقًا بشأن الاستخدام الضار لمثل هذه التقنيات مثل انتحال الهوية أو الوسائط الاصطناعية أو أدوات القرصنة الآلية. لم ترد شركة OpenAI على الفور على طلب للتعليق.

برنامج مكافأة الأخطاء مع نطاق محدود

يأتي برنامج bug bounty وسط سلسلة من المخاوف الأمنية ، مع ظهور كسر حماية GPT4 ، والذي يمكّن المستخدمين من تطوير إرشادات حول كيفية اختراق أجهزة الكمبيوتر والباحثين الذين يكتشفون الحلول للمستخدمين “غير التقنيين” لإنشاء برامج ضارة ورسائل بريد إلكتروني تصيدية.

كما يأتي بعد باحث أمني معروف باسم Rez0 يُزعم أنه استخدم استغلالًا لاختراق واجهة برمجة تطبيقات ChatGPT واكتشاف أكثر من 80 مكونًا إضافيًا سريًا.

بالنظر إلى هذه الخلافات ، فإن إطلاق منصة مكافأة الأخطاء يوفر فرصة لـ OpenAI لمعالجة نقاط الضعف في النظام الإيكولوجي لمنتجها ، مع وضع نفسها كمنظمة تعمل بحسن نية لمعالجة المخاطر الأمنية التي يقدمها الذكاء الاصطناعي التوليدي.

لسوء الحظ ، فإن برنامج مكافأة الأخطاء الخاص بـ OpenAI محدود للغاية في نطاق التهديدات التي يعالجها. على سبيل المثال ، تلاحظ الصفحة الرسمية لبرنامج bug bounty: “المشكلات المتعلقة بمحتوى المطالبات النموذجية والردود خارج النطاق تمامًا ، ولن تتم مكافأتها ما لم يكن لها تأثير أمني إضافي يمكن التحقق منه بشكل مباشر على خدمة داخل النطاق.”

تتضمن أمثلة مشكلات السلامة التي تعتبر خارج النطاق عمليات كسر الحماية وتجاوز الأمان ، أو جعل النموذج “يقول أشياء سيئة” ، أو جعل النموذج يكتب تعليمات برمجية ضارة أو جعل النموذج يخبرك بكيفية القيام بأشياء سيئة.

بهذا المعنى ، قد يكون برنامج مكافأة الأخطاء الخاص بـ OpenAI مفيدًا لمساعدة المنظمة على تحسين وضعها الأمني ​​الخاص بها ، ولكنه لا يفعل الكثير لمعالجة المخاطر الأمنية التي يقدمها الذكاء الاصطناعي التوليدي و GPT-4 للمجتمع ككل.

مهمة VentureBeat هو أن تكون ساحة المدينة الرقمية لصناع القرار التقنيين لاكتساب المعرفة حول تكنولوجيا المؤسسات التحويلية والمعاملات. اكتشف إحاطاتنا.



اترك تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *

زر الذهاب إلى الأعلى