هجوم حقن بيانات الوكلاء الجديد وتأثيره على الذكاء الاصطناعي

كتبت: إسراء الشامي

تشير دراسة جديدة نشرت في 6 يوليو من قبل باحثين من جامعة سيول الوطنية وجامعة إلينوي في أوربانا-شامبين إلى نوع جديد من الهجمات يمكنه التأثير على وكلاء الذكاء الاصطناعي. يُعرف هذا الهجوم باسم “حقن بيانات الوكلاء” أو ADI (Agent Data Injection). يقوم هذا الهجوم بتغليف مدخلات المهاجم على شكل بيانات يثق بها الوكيل، مما يسمح له بتجاوز معظم تدابير الحماية ضد حقن التعليمات.
تتألف كيفية عمل هذا الهجوم من استغلال الثقة التي يضعها الوكيل في معلومات معينة. عندما يُطلب من وكيل الذكاء الاصطناعي تلخيص مراجعات على صفحة منتج، يمكن لمراجعة مزيفة أن تؤدي إلى نقرة غير مقصودة على زر “شراء الآن”. وبالمثل، إذا طُلب من مساعد برمجي تطبيق إصلاح من خيط GitHub، يمكن لتعليق مزيف أن يُملىء بأوامر غير صحيحة.
يعتمد هجوم ADI على استغلال الفجوة في كيفية قراءة الوكلاء. تتضمن عمليات القراءة أوامر وبيانات، بحيث يتم الخداع عبر تقديم معلومات مزعومة بأنها موثوق بها، مثل اسم المرسل أو معرف الزر، مما يؤدي إلى استخدام الوكيل للبيانات التي تم تعديلها بطريقة غير صحيحة.

أساليب الهجوم

توصيف الباحثين لمثل هذه الهجمات يشمل تقنيات مثل “حقن الفواصل الاحتمالية”. حيث تعتمد الوكلاء على علامات ترقيم لتحديد الفارق بين المعلومات الموثوقة وغير الموثوقة. تستفيد هذه الهجمات من قدرة الوكلاء على قراءة نصوص تحتفظ بهذه الهياكل الوهمية. مما يجعلها تتجاوز بعض الدفاعات الحديثة.
في الاختبارات، وجد الباحثون أن هذه الأساليب كانت فعالة في إحداث خلل في الأداء. على سبيل المثال، الوكلاء مثل OpenAI وGoogle جميعهم أثبتوا أنهم عرضة لهجمات ADI. نجاح هذه الهجمات تراوح بين 31% إلى 43% عند التعامل مع البيانات المنظمة، وما بين ثلث المحاولات إلى جميعها عند التعامل مع بيانات الويب.

استجابة الدفاعات

عندما جرب الباحثون أنظمة الدفاع المختلفة، وقف الدفاع التقليدي ضد حقن التعليمات بشكل جيد، ولكنه كان ضعيفًا أمام هجوم ADI، مما أدى إلى نجاحه بنسبة تصل إلى 50%. الأمر الذي أظهر الفجوة الكبيرة الموجودة في تصميم هذه الدفاعات، حيث أن معظمها كان مصممًا لمواجهة نوع آخر من الهجمات.
ورغم ذلك، لم تكن جميع الأنظمة عرضة لهذه الهجمات. فمثلاً، تصدى متصفح ChatGPT للدفاع عن نفسه بفضل استخدامه لمعرفات عشوائية وصعبة التخمين. بينما كشفت الدراسات أيضًا أنه من الممكن تقليص فعالية الهجوم بنسبة تصل إلى 29% بتنفيذ تعديلات بسيطة.

تحديات الهجوم

يتطلب تنفيذ هجوم ADI بعض الأمور الأساسية. ينبغي على الوكيل معالجة المحتوى الذي يمكن للمهاجم التلاعب به، كما يتطلب معرفة تنسيق البيانات التي يتبعها الوكيل. وقد تمكن الباحثون من تحديد هذه التنسيقات عبر أساليب معينة، مما يتيح للهاكرز إمكانية تطوير هجمات مستقبلية.
في الوقت نفسه، أشار الباحثون إلى ضرورة وضع نظام للحفاظ على الفصل بين البيانات الموثوقة وغير الموثوقة، وهو درس تعلمت منه برمجيات تقليدية في السابق. إذا استمرت الوكلاء في عدم رسم هذا الفارق، فإن الهجمات باستخدام المعلومات المضللة ستبقى قابلة للتنفيذ.
تسلط الدراسة الضوء على أهمية تعزيز أمان وكلاء الذكاء الاصطناعي، مما يتطلب ممارسة تحكمات متطورة في الوصول، الرؤية، السرية، والتعامل مع المخاطر. فمع التطورات المتسارعة في هذا المجال، سيكون من الضروري تحسين استراتيجيات الحماية ضد هذه الأنواع من الهجمات.

يمكنك قراءة المزيد في المصدر.

لمزيد من التفاصيل اضغط هنا.