الذكاء الاصطناعي للأمان موجود هنا. الآن نحن بحاجة إلى الأمن للذكاء الاصطناعي

بعد إصدار ChatGPT ، أصبح الذكاء الاصطناعي (AI) والتعلم الآلي (ML) ونماذج اللغات الكبيرة (LLMs) الموضوع الأول للمناقشة لممارسي الأمن السيبراني والموردين والمستثمرين على حد سواء. هذا ليس مفاجأة. كما لاحظ مارك أندريسن قبل عقد من الزمن ، فإن البرمجيات تلتهم العالم ، ويبدأ الذكاء الاصطناعي في أكل البرمجيات.

على الرغم من كل الاهتمام الذي تلقاه الذكاء الاصطناعي في الصناعة ، فقد ركزت الغالبية العظمى من المناقشات على كيفية تأثير التقدم في الذكاء الاصطناعي على القدرات الأمنية الدفاعية والهجومية. ما لم تتم مناقشته كثيرًا هو كيف نؤمن أعباء عمل الذكاء الاصطناعي بأنفسنا.

على مدار الأشهر العديدة الماضية ، رأينا العديد من بائعي الأمن السيبراني يطلقون منتجات مدعومة بالذكاء الاصطناعي ، مثل Microsoft Security Copilot ، أو دمج ChatGPT في العروض الحالية أو حتى تغيير الوضع تمامًا ، مثل كيف أصبح ShiftLeft Qwiet AI. أتوقع أننا سنستمر في رؤية سيل من البيانات الصحفية من عشرات وحتى مئات من بائعي خدمات الأمن الذين يطلقون منتجات ذكاء اصطناعي جديدة. من الواضح أن الذكاء الاصطناعي للأمن موجود هنا.

نظرة سريعة على نواقل الهجوم لأنظمة الذكاء الاصطناعي

يعد تأمين أنظمة الذكاء الاصطناعي والتعلم الآلي أمرًا صعبًا ، نظرًا لوجود نوعين من نقاط الضعف: تلك الشائعة في أنواع أخرى من تطبيقات البرامج وتلك الخاصة بـ AI / ML.

أولاً ، دعنا نخرج ما هو واضح من الطريق: من المرجح أن يحتوي الكود الذي يدعم الذكاء الاصطناعي والتعلم الآلي على نقاط ضعف مثل الكود الذي يدير أي برنامج آخر. لعدة عقود ، رأينا أن المهاجمين قادرون تمامًا على اكتشاف واستغلال الثغرات في التعليمات البرمجية لتحقيق أهدافهم. هذا يثير موضوعًا واسعًا لأمان الكود ، والذي يلخص جميع المناقشات حول اختبار أمان البرامج ، والتحول إلى اليسار ، وأمن سلسلة التوريد وما شابه.

نظرًا لأن أنظمة الذكاء الاصطناعي والتعلم الآلي مصممة لإنتاج مخرجات بعد استيعاب كميات كبيرة من البيانات وتحليلها ، فإن العديد من التحديات الفريدة في تأمينها لا تظهر في أنواع أخرى من الأنظمة. لخص معهد ماساتشوستس للتكنولوجيا سلون هذه التحديات من خلال تنظيم نقاط الضعف ذات الصلة عبر خمس فئات: مخاطر البيانات ، ومخاطر البرامج ، ومخاطر الاتصالات ، ومخاطر العوامل البشرية ، ومخاطر النظام.

تتضمن بعض المخاطر التي تستحق تسليط الضوء عليها ما يلي:

• هجمات التسمم بالبيانات والتلاعب. يحدث تسمم البيانات عندما يعبث المهاجمون بالبيانات الأولية التي يستخدمها نموذج AI / ML. واحدة من أهم المشكلات المتعلقة بمعالجة البيانات هي أن نماذج الذكاء الاصطناعي / التعلم الآلي لا يمكن تغييرها بسهولة بمجرد تحديد المدخلات الخاطئة.
• تحدث هجمات الكشف عن النموذج عندما يوفر المهاجم مدخلات مصممة بعناية ويلاحظ المخرجات الناتجة التي تنتجها الخوارزمية.
• سرقة النماذج بعد أن تم تدريبهم. يمكن أن يؤدي القيام بذلك إلى تمكين المهاجمين من الحصول على بيانات حساسة تم استخدامها لتدريب النموذج ، أو استخدام النموذج نفسه لتحقيق مكاسب مالية ، أو للتأثير على قراراته. على سبيل المثال ، إذا كان أحد الممثلين السيئين يعرف العوامل التي يتم أخذها في الاعتبار عند وضع علامة على شيء ما على أنه سلوك ضار ، فيمكنه إيجاد طريقة لتجنب هذه العلامات والتحايل على أداة الأمان التي تستخدم النموذج.
• نماذج هجمات التسمم. يمكن للتلاعب بالخوارزميات الأساسية أن يجعل من الممكن للمهاجمين التأثير على قرارات الخوارزمية.

في عالم يتم فيه اتخاذ القرارات وتنفيذها في الوقت الفعلي ، يمكن أن يؤدي تأثير الهجمات على الخوارزمية إلى عواقب وخيمة. ومن الأمثلة على ذلك قصة شركة Knight Capital التي خسرت 460 مليون دولار في 45 دقيقة بسبب خطأ في خوارزمية التداول عالية التردد للشركة. كانت الشركة على وشك الإفلاس وانتهى الأمر بشرائها من قبل منافسها بعد ذلك بوقت قصير. على الرغم من أن المشكلة في هذه الحالة المحددة لم تكن مرتبطة بأي سلوكيات عدائية ، إلا أنها مثال رائع للتأثير المحتمل الذي قد يحدثه خطأ في الخوارزمية.

المشهد الأمني ​​للذكاء الاصطناعي

نظرًا لأن الاعتماد الشامل للذكاء الاصطناعي وتطبيقه لا يزالان جديدًا إلى حد ما ، فإن أمان الذكاء الاصطناعي لم يتم فهمه جيدًا بعد. في مارس 2023 ، نشرت وكالة الاتحاد الأوروبي للأمن السيبراني (ENISA) وثيقة بعنوان الأمن السيبراني للذكاء الاصطناعي والتوحيد القياسي بقصد “تقديم نظرة عامة على المعايير (الحالية ، قيد الصياغة ، قيد الدراسة والمخطط لها) المتعلقة بالأمن السيبراني للذكاء الاصطناعي ، تقييم تغطيتها وتحديد الثغرات “في التقييس. نظرًا لأن الاتحاد الأوروبي يحب الامتثال ، فإن تركيز هذه الوثيقة ينصب على المعايير واللوائح ، وليس على التوصيات العملية لقادة وممارسي الأمن.

هناك الكثير حول مشكلة أمان الذكاء الاصطناعي عبر الإنترنت ، على الرغم من أنها تبدو أقل بكثير مقارنة بموضوع استخدام الذكاء الاصطناعي للدفاع الإلكتروني والهجوم. قد يجادل الكثيرون بأنه يمكن معالجة أمن الذكاء الاصطناعي من خلال جعل الأشخاص والأدوات من عدة تخصصات بما في ذلك البيانات والبرمجيات وأمان السحابة للعمل معًا ، ولكن هناك حجة قوية يجب تقديمها لتخصص متميز.

عندما يتعلق الأمر بمشهد البائع ، سأصنف أمان الذكاء الاصطناعي / تعلم الآلة على أنه مجال ناشئ. يقدم الملخص التالي نظرة عامة موجزة عن البائعين في هذه المساحة. لاحظ أن:

• لا يتضمن المخطط سوى البائعين في أمان نموذج AI / ML. لا يشمل اللاعبين الآخرين المهمين في المجالات التي تساهم في أمن الذكاء الاصطناعي مثل التشفير أو البيانات أو الأمن السحابي.
• يرسم الرسم البياني الشركات عبر محورين: زيادة رأس المال ومتابعي LinkedIn. من المفهوم أن متابعي LinkedIn ليسوا أفضل مقياس للمقارنة ، ولكن أي مقياس آخر ليس مثاليًا أيضًا.

على الرغم من أن هناك بالتأكيد المزيد من المؤسسين الذين يعالجون هذه المشكلة في وضع التخفي ، إلا أنه من الواضح أيضًا أن مساحة أمان نموذج AI / ML بعيدة عن التشبع. نظرًا لأن هذه التقنيات المبتكرة تكتسب اعتمادًا على نطاق واسع ، فسنشهد حتمًا هجمات ، وبالتالي ، عدد متزايد من رواد الأعمال الذين يتطلعون إلى مواجهة هذا التحدي الذي يصعب حله.

ملاحظات ختامية

في السنوات القادمة ، سنرى الذكاء الاصطناعي والتعلم الآلي يعيدان تشكيل الطريقة التي يعمل بها الأفراد والمؤسسات والصناعات بأكملها. كل مجال من مجالات حياتنا – من القانون وإنشاء المحتوى والتسويق والرعاية الصحية والهندسة والعمليات الفضائية – سيخضع لتغييرات كبيرة. ومع ذلك ، فإن التأثير الحقيقي والدرجة التي يمكننا الاستفادة بها من التقدم في الذكاء الاصطناعي / تعلم الآلة ، سيعتمدان على الطريقة التي نختار بها كمجتمع التعامل مع الجوانب التي تتأثر بشكل مباشر بهذه التكنولوجيا ، بما في ذلك الأخلاق والقانون وملكية الملكية الفكرية وما شابه. ومع ذلك ، يمكن القول إن أحد أكثر الأجزاء أهمية هو قدرتنا على حماية البيانات والخوارزميات والبرامج التي يعمل عليها الذكاء الاصطناعي والتعلم الآلي.

في عالم مدعوم بالذكاء الاصطناعي ، فإن أي سلوك غير متوقع للخوارزمية تم اختراق البيانات الأساسية أو الأنظمة التي تعمل عليها سيكون له عواقب واقعية. يمكن أن يكون التأثير الواقعي لأنظمة الذكاء الاصطناعي المخترقة كارثيًا: فالأمراض المشخصة بشكل خاطئ تؤدي إلى قرارات طبية لا يمكن التراجع عنها ، وتعطل الأسواق المالية وحوادث السيارات ، على سبيل المثال لا الحصر.

على الرغم من أن العديد منا يمتلكون خيالًا رائعًا ، إلا أننا لا نستطيع حتى الآن فهم النطاق الكامل للطرق التي يمكن أن نتأثر بها. اعتبارًا من اليوم ، لا يبدو أنه من الممكن العثور على أي أخبار حول عمليات اختراق AI / ML ؛ قد يكون ذلك بسبب عدم وجود أي منها ، أو على الأرجح لأنه لم يتم اكتشافها بعد. سوف يتغير ذلك قريبا.

على الرغم من الخطر ، أعتقد أن المستقبل يمكن أن يكون مشرقًا. عندما تم بناء البنية التحتية للإنترنت ، كان الأمان فكرة متأخرة لأنه في ذلك الوقت لم يكن لدينا أي خبرة في تصميم الأنظمة الرقمية على نطاق كوكبي أو أي فكرة عما قد يبدو عليه المستقبل.

اليوم ، نحن في مكان مختلف تمامًا. على الرغم من عدم وجود ما يكفي من المواهب الأمنية ، إلا أن هناك فهمًا قويًا بأن الأمن أمر بالغ الأهمية وفكرة جيدة لما تبدو عليه أساسيات الأمان. هذا ، جنبًا إلى جنب مع حقيقة أن العديد من ألمع مبتكري الصناعة يعملون لتأمين الذكاء الاصطناعي ، يمنحنا فرصة لعدم تكرار أخطاء الماضي وبناء هذه التكنولوجيا الجديدة على أساس متين وآمن.

هل سنستخدم هذه الفرصة؟ فقط الوقت كفيل بإثبات. في الوقت الحالي ، لدي فضول لمعرفة الأنواع الجديدة من مشاكل الأمان التي سيحدثها الذكاء الاصطناعي والتعلم الآلي وما هي أنواع الحلول الجديدة التي ستظهر في الصناعة نتيجة لذلك.

روس هاليوك هو قائد منتج للأمن السيبراني ، ورئيس المنتج في LimaCharlie ومؤلف Venture انعدام الأمن.