باحثون يحذرون: هجوم جديد يمكنه التلاعب بذاكرة الذكاء الاصطناعي
أطلق باحثون تحذيرا من ثغرة أمنية غير مسبوقة، قد تكون من أشد المخاطر التي تهدد أنظمة الذكاء الاصطناعي حاليا، بعد تمكنهم من ابتكار هجوم جديد أُطلق عليه اسم GhostWriter، يمكنه حقن ذكريات وهمية في ذاكرة المساعدات الذكية، مما قد يؤدي إلى قرارات خاطئة أو تنفيذ تعليمات ضارة بعد مدة من تنفيذ الهجوم.
وتثير هذه الثغرة تساؤلات حول مدى أمان تطبيقات الذكاء الاصطناعي التوليدي التي تعتمد على الذاكرة طويلة الأمد.
يأتي هذا التحذير في ظل سباق شركات الذكاء الاصطناعي على تطوير مساعدين رقميين بذاكرة دائمة، تمكنهم من تخزين تفضيلات المستخدم وعاداته ومشاريعه لتوفير تجربة مخصصة أكثر.
الهجوم لا يخترق النظام.. بل يغيّر ذاكرته
الدراسة أجراها باحثون في جامعة ولاية نيو مكسيكو، وأوضحوا أن هجوم GhostWriter لا يتطلب اختراق نموذج الذكاء الاصطناعي أو سرقة البيانات مباشرة، بل يستهدف التلاعب بذاكرة النظام، وفقا لتقرير نشره موقع "digitaltrends" واطلعت عليه "العربية Business".
وبدلاً من مهاجمة النموذج نفسه، يعمل المهاجم على إدخال معلومات مضللة إلى الذاكرة طويلة الأمد للمساعد الذكي عبر تعليمات مخفية أو محتوى خارجي غير موثوق.
وتظل هذه المعلومات المزيفة مخزنة داخل الذاكرة إلى أن يسترجعها النظام لاحقًا أثناء تنفيذ طلب يبدو طبيعيًا، لتؤثر في قراراته دون أن يدرك المستخدم أو النظام نفسه وجود تلاعب.
كيف يعمل GhostWriter؟
بحسب الباحثين، يمر الهجوم بمرحلتين رئيسيتين:
حقن الذاكرة: يتم إدخال معلومات خبيثة إلى ذاكرة المساعد الذكي بطريقة خفية.
تفعيل الهجوم: يسترجع النظام تلك المعلومات لاحقًا أثناء الرد على طلب حقيقي من المستخدم، فيتصرف بناءً على بيانات مزيفة يعتقد أنها صحيحة.
على سبيل المثال، إذا طلب المستخدم من مساعده الذكي تلخيص رسائل البريد الإلكتروني الواردة من البنك، فقد يؤدي وجود ذاكرة ملوثة إلى قيام المساعد بإرسال تلك الرسائل سرًا إلى جهة مهاجمة، أو استخدام معلومات اتصال خاطئة، أو تذكر مواعيد نهائية غير صحيحة، أو حتى اعتماد تفضيلات مزيفة سبق زرعها داخل ذاكرته.
أخطر من هجمات "حقن الأوامر"
ويؤكد الباحثون أن GhostWriter يختلف عن هجمات Prompt Injection التقليدية، التي يقتصر تأثيرها عادة على المحادثة الحالية فقط.
أما في هذا السيناريو، فإن المعلومات الخبيثة تبقى محفوظة داخل الذاكرة طويلة الأمد، وتستمر في التأثير على سلوك المساعد الذكي عبر جلسات متعددة إلى أن يتم اكتشافها وإزالتها.
ذاكرة الذكاء الاصطناعي.. ساحة الهجوم الجديدة
تأتي هذه الدراسة في وقت أصبحت فيه الذاكرة إحدى أهم المزايا التي تتنافس عليها شركات الذكاء الاصطناعي، إذ تعمل معظم الشركات الكبرى على تطوير مساعدين قادرين على تذكر المستخدمين لأسابيع أو أشهر، بل وحتى لسنوات.
ويمنح ذلك المساعدات الذكية قدرة أكبر على فهم السياق وتقديم استجابات أكثر دقة، لكنه في الوقت نفسه يفتح بابًا جديدًا أمام الهجمات الإلكترونية.
وخلال الاختبارات، حقق هجوم GhostWriter معدل نجاح بلغ نحو 98% في زرع المعلومات داخل الذاكرة، فيما نجحت الذكريات المزيفة في التأثير على قرارات أحدث وكلاء الذكاء الاصطناعي بنسبة تقارب 60% عند استرجاعها لاحقًا.
ويرى الباحثون أن هذه النتائج تشير إلى أن أنظمة إدارة الذاكرة الحالية لا تزال غير قادرة على التمييز بشكل موثوق بين المعلومات الصحيحة والبيانات التي جرى التلاعب بها.
إطار دفاعي جديد
ولم يكتفِ الفريق البحثي بالكشف عن الثغرة، بل اقترح أيضًا نظامًا دفاعيًا جديدًا يحمل اسم Agentic Memory Sentry (AM-Sentry).
ويعتمد هذا النظام على فحص المعلومات قبل تخزينها داخل الذاكرة، إلى جانب تطبيق سياسات أكثر صرامة لإدارة الذكريات المخزنة.
ووفقًا للباحثين، نجح هذا الإطار في تقليل فرص نجاح هجوم GhostWriter بشكل كبير، مع الحفاظ على كفاءة المساعدات الذكية وقدرتها على أداء مهامها.
معركة الأمن المقبلة
ويختتم الباحثون دراستهم بالتأكيد على أن مستقبل أمن الذكاء الاصطناعي لن يقتصر على حماية النماذج من الأوامر الضارة، بل سيمتد أيضًا إلى حماية ذاكرتها من التلاعب وإعادة الكتابة.
ومع تطور المساعدات الذكية لتتولى مهام مثل إدارة البريد الإلكتروني، وجدولة الاجتماعات، وكتابة الأكواد البرمجية، واتخاذ القرارات نيابة عن المستخدمين، فإن حماية ما "يتذكره" الذكاء الاصطناعي قد تصبح بنفس أهمية حماية البيانات التي ينتجها.
مادة إعلانية
مادة إعلانية
ويشير الباحثون إلى أن هذا النوع من الهجمات يتجاوز حدود الهجمات التقليدية، حيث يمكن أن يظل خاملا لفترة طويلة قبل تفعيله. كما يسلط الضوء على ضرورة تطوير آليات للتحقق من سلامة الذاكرة في أنظمة الذكاء الاصطناعي، خاصة مع تزايد الاعتماد على المساعدات الذكية في المهام الحساسة.
المصدر الأصلي: العربية
التعليقات (0)
كن أول من يعلّق.