...

Logo Igesa La Saline les Bains & Porte du Volcan
Logo Nextory

دراسة: معظم احتياطات السلامة لأدوات الذكاء الاصطناعي يمكن تجاوزها خلال دقائق قليلة

商业 • 2025年11月6日 下午3:52
1 min de lecture
1

تجاوز ضوابط السلامة باتباع سلسلة أسئلة

لا يستغرق الأمر سوى بعض المطالبات البسيطة لتجاوز معظم ضوابط السلامة في أدوات الذكاء الاصطناعي، بحسب تقرير جديد. قيّمت شركة "سيسكو" النماذج اللغوية الكبيرة "LLMs" التي تقف وراء روبوتات الدردشة الشائعة من "OpenAI" و"Mistral" و"Meta" و"Google" و"Alibaba" و"Deepseek" و"Microsoft" لمعرفة عدد الأسئلة التي يحتاجها كل نموذج كي يُفشي معلومات غير آمنة أو إجرامية. وقد قامت بذلك عبر 499 محادثة باستخدام تقنية تُعرف باسم هجمات متعددة الجولات "multi-turn attacks"، حيث يطرح المستخدمون الخبيثون سلسلة من الأسئلة للتحايل على وسائل الحماية. وكان في كل محادثة بين خمسة وعشرة تفاعلات. وقارَن الباحثون نتائج عدة أسئلة لتحديد مدى احتمال امتثال روبوت الدردشة لطلبات تتعلق بمعلومات ضارة أو غير مناسبة. وقد يشمل ذلك كل شيء من مشاركة بيانات خاصة بالشركات إلى تسهيل نشر المعلومات المضللة.

نسب النجاح والمخاطر

في المتوسط، تمكّن الباحثون من انتزاع معلومات خبيثة من 64 في المئة من محادثاتهم عندما وجّهوا إلى روبوتات الدردشة أسئلة متعددة، مقارنة بـ 13 في المئة فقط عند طرح سؤال واحد. وتراوحت نسب النجاح بين نحو 26 في المئة مع "Gemma" من "Google" و93 في المئة مع نموذج "Large Instruct" من "Mistral". وتشير النتائج إلى أن الهجمات متعددة الجولات قد تتيح انتشار محتوى ضار على نطاق واسع أو تمكّن قراصنة من الحصول على "وصول غير مصرح به" إلى معلومات حساسة تخص الشركات، وفقا لسيسكو. وتظهر الدراسة أن أنظمة الذكاء الاصطناعي تُخفق كثيرا في تذكّر قواعد السلامة وتطبيقها خلال المحادثات الأطول، ما يسمح للمهاجمين بتنقيح استفساراتهم تدريجيا وتفادي إجراءات الأمان. وتعمل "Mistral"، مثل "Meta" و"Google" و"OpenAI" و"Microsoft"، على نماذج لغوية كبيرة "LLMs" ذات أوزان مفتوحة "open-weight"، حيث يستطيع الجمهور الاطلاع على معايير السلامة التي تدربت عليها النماذج.

ثغرات الأمان ومسؤولية الاستخدام

تقول سيسكو إن هذه النماذج غالبا ما تتضمن "ميزات أمان مدمجة أخف" حتى يتمكن المستخدمون من تنزيل النماذج وتكييفها، ما ينقل مسؤولية السلامة إلى من يستخدم المعلومات مفتوحة المصدر لتخصيص نموذجه. وتجدر الإشارة إلى أن "Google" و"OpenAI" و"Meta" و"Microsoft" قالت إنها بذلت جهودا للحد من أي "fine-tuning" خبيث لنماذجها.

تداعيات أوسع وحوادث سابقة

تتعرض شركات الذكاء الاصطناعي لانتقادات بسبب تراخي ضوابط السلامة الذي سهّل تكييف أنظمتها لاستخدامات إجرامية. ففي أغسطس، على سبيل المثال، قالت الشركة الأمريكية "Anthropic" إن مجرمين استغلوا نموذجها "Claude" لتنفيذ سرقات واسعة النطاق وابتزاز بيانات شخصية، مطالبين بدفع فدى وصلت أحيانا إلى 500.000 دولار (433.000 يورو).


أوروبا تدرس تعليق أجزاء من قانون الذكاء الاصطناعي لمنح المطورين مهلة في تطبيق قواعد الرقابة
商业 • 下午7:01
1 min
تدرس المفوضية تأجيل فرض غرامات على مخالفة قواعد الشفافية الجديدة للذكاء الاصطناعي حتى أغسطس 2027 "لمنح المزوّدين والمستخدمين للأنظمة الذكية وقتاً كافياً للامتثال".
阅读文章
الدنمارك تريد حظر وصول الأطفال دون ١٥ عاما إلى وسائل التواصل الاجتماعي
商业 • 下午3:30
1 min
يعد هذا المقترح من أكثر الإجراءات شمولية اتخذتها دولة أوروبية حتى الآن للحد من استخدام وسائل التواصل الاجتماعي بين الشباب.
阅读文章
دراسة: تلف القلب في منتصف العمر قد يزيد خطر الإصابة بالخرف لاحقًا
商业 • 上午11:31
1 min
أظهرت الدراسة أن الأشخاص الذين سجلت لديهم مستويات مرتفعة من بروتين يُعرف بـ"تروبونين" في الدم كانوا أكثر عرضة بشكل ملحوظ للإصابة بالخرف لاحقًا.
阅读文章
شركة "غونفور" السويسرية تتخلى عن شراء أصول "لوك أويل" بعد معارضة أميركية
商业 • 上午11:14
1 min
قالت وزارة الخزانة الأميركية في منشور عبر منصة "إكس" يوم الخميس إنّه "ما دام الرئيس الروسي فلاديمير بوتين يواصل القتل دون مبرر، فلن تحصل شركة غونفور، التي وصفتها الوزارة بـ"دمية الكرملين"، على أي ترخيص يسمح لها بالعمل وتحقيق الأرباح".
阅读文章
شركة "أنثروبيك" المتخصصة في الذكاء الاصطناعي تفتتح مكاتب جديدة في باريس وميونيخ ضمن توسعها في أوروبا
商业 • 上午9:53
1 min
قالت شركة "أنثروبيك" الأمريكية الناشئة في مجال التكنولوجيا إنها ستفتتح مكتبين جديدين في باريس وميونيخ، في ظل تزايد الاهتمام بخدمات الذكاء الاصطناعي التوليدي.
阅读文章
"أوبن إيه آي" تواجه دعاوى قضائية جديدة تتهم "تشات جي بي تي" بالتسبب في حالات إيذاء نفسي وانتحار
商业 • 上午9:50
1 min
قالت شركة "أوبن إيه آي" إن هذه القضايا "مؤلمة للغاية"، مؤكدة أنها تراجع ملفات المحكمة لفهم التفاصيل والملابسات.
阅读文章
تقرير لمنظمة الصحة العالمية يحذر: سمنة الأطفال تبلغ مستويات مقلقة في أوروبا
商业 • 上午8:01
1 min
استقرت معدلات السمنة لدى الأطفال في بعض الدول خلال الأعوام الأخيرة، غير أن مسؤولو الصحة العالميون قالوا إنها لا تزال مرتفعة على نحو مقلق.
阅读文章
إسبانيا تكشف عن أول قافلة عسكرية ذاتية القيادة في أوروبا
商业 • 上午6:02
1 min
بحسب ما ذكرته تقارير إعلامية، خضعت قافلة عسكرية ذاتية القيادة بالكامل لآخر جولة من الاختبارات في إسبانيا.
阅读文章