من بين الهجمات الأخرى التي أنشأها Bargury هو توضيح لكيفية قيام المتسلل – الذي، مرة أخرى، لا بد أنه قام بالفعل باختطاف حساب بريد إلكتروني – بالوصول إلى المعلومات الحساسة، مثل رواتب الأشخاص، دون تشغيل Microsoft الحماية للملفات الحساسة. عند طلب البيانات، يطالب موجه Bargury النظام بعدم توفير مراجع للملفات التي يتم أخذ البيانات منها. يقول بارجوري: “القليل من التنمر يساعد”.
وفي حالات أخرى، يوضح كيف يمكن للمهاجم – الذي ليس لديه إمكانية الوصول إلى حسابات البريد الإلكتروني ولكنه يسمم قاعدة بيانات الذكاء الاصطناعي عن طريق إرسال بريد إلكتروني ضار لها – أن يتلاعب بالإجابات المتعلقة بالمعلومات المصرفية لتقديم التفاصيل المصرفية الخاصة به. يقول بارجوري: “في كل مرة تمنح فيها الذكاء الاصطناعي إمكانية الوصول إلى البيانات، تكون هذه طريقة للمهاجم للدخول”.
يُظهر عرض توضيحي آخر كيف يمكن للمتسلل الخارجي الحصول على بعض المعلومات المحدودة حول ما إذا كانت مكالمة أرباح الشركة القادمة ستكون جيدة أم سيئة، في حين أن الحالة الأخيرة، كما يقول بارجوري، تحول برنامج Copilot إلى “مطلع خبيث” من خلال تزويد المستخدمين بروابط لمواقع التصيد الاحتيالي .
يقول فيليب ميسنر، رئيس قسم الكشف عن حوادث الذكاء الاصطناعي والاستجابة لها في مايكروسوفت، إن الشركة تقدر اكتشاف بارجوري للثغرة الأمنية، وتقول إنها تعمل معه لتقييم النتائج. يقول ميسنر: “إن مخاطر إساءة استخدام الذكاء الاصطناعي بعد التسوية تشبه تقنيات ما بعد التسوية الأخرى”. “يساعد منع الأمان والمراقبة عبر البيئات والهويات في تخفيف أو إيقاف مثل هذه السلوكيات.”
مع تطور أنظمة الذكاء الاصطناعي التوليدية، مثل ChatGPT من OpenAI، وCopilot من Microsoft، وGemini من Google، في العامين الماضيين، فقد انتقلت إلى مسار قد تكون فيه في النهاية تكمل المهام الأشخاص، مثل حجز الاجتماعات أو التسوق عبر الإنترنت. ومع ذلك، فقد أكد الباحثون الأمنيون باستمرار على أن السماح للبيانات الخارجية بالدخول إلى أنظمة الذكاء الاصطناعي، مثل رسائل البريد الإلكتروني أو الوصول إلى المحتوى من مواقع الويب، يخلق مخاطر أمنية من خلال الحقن الفوري غير المباشر وهجمات التسمم.
يقول يوهان ريبيرجر، الباحث الأمني ومدير الفريق الأحمر، الذي أظهر على نطاق واسع نقاط الضعف الأمنية في أنظمة الذكاء الاصطناعي: “أعتقد أنه ليس من المفهوم جيدًا مدى فعالية المهاجم الآن”. “”ما علينا أن نقلق”” [about] الآن هو في الواقع ما ينتجه LLM ويرسله إلى المستخدم
يقول بارجوري إن مايكروسوفت بذلت الكثير من الجهد لحماية نظام Copilot الخاص بها من الهجمات السريعة، لكنه يقول إنه وجد طرقًا لاستغلاله من خلال كشف كيفية بناء النظام. ويقول إن ذلك يشمل استخراج موجه النظام الداخلي، والعمل على كيفية الوصول إلى موارد المؤسسة والتقنيات التي تستخدمها للقيام بذلك. يقول: “أنت تتحدث إلى Copilot وتكون المحادثة محدودة، لأن Microsoft وضعت الكثير من الضوابط”. “ولكن بمجرد استخدام بعض الكلمات السحرية، ينفتح الأمر ويمكنك أن تفعل ما تريد.”
يحذر ريبيرجر على نطاق واسع من أن بعض مشكلات البيانات مرتبطة بالمشكلة طويلة الأمد المتمثلة في سماح الشركات لعدد كبير جدًا من الموظفين بالوصول إلى الملفات وعدم تعيين أذونات الوصول بشكل صحيح عبر مؤسساتهم. يقول ريبيرجر: “تخيل الآن أنك وضعت مساعد الطيار على رأس هذه المشكلة”. ويقول إنه استخدم أنظمة الذكاء الاصطناعي للبحث عن كلمات المرور الشائعة، مثل كلمة المرور 123، وقد أعاد النتائج من داخل الشركات.
يقول كل من ريبيرجر وبارجوري إن هناك حاجة إلى مزيد من التركيز على مراقبة ما ينتجه الذكاء الاصطناعي ويرسله إلى المستخدم. يقول بارجوري: “تتعلق المخاطر بكيفية تفاعل الذكاء الاصطناعي مع بيئتك، وكيف يتفاعل مع بياناتك، وكيف يؤدي العمليات نيابة عنك”. “أنت بحاجة إلى معرفة ما يفعله وكيل الذكاء الاصطناعي نيابة عن المستخدم. وهل هذا منطقي مع ما طلبه المستخدم بالفعل
اكتشاف المزيد من مجلة الإبداع
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
