...

Logo Démo DS automobile
Logo Nextory

دراسة: معظم احتياطات السلامة لأدوات الذكاء الاصطناعي يمكن تجاوزها خلال دقائق قليلة

商业 • 2025年11月6日 下午3:52
1 min de lecture
1

تجاوز ضوابط السلامة باتباع سلسلة أسئلة

لا يستغرق الأمر سوى بعض المطالبات البسيطة لتجاوز معظم ضوابط السلامة في أدوات الذكاء الاصطناعي، بحسب تقرير جديد. قيّمت شركة "سيسكو" النماذج اللغوية الكبيرة "LLMs" التي تقف وراء روبوتات الدردشة الشائعة من "OpenAI" و"Mistral" و"Meta" و"Google" و"Alibaba" و"Deepseek" و"Microsoft" لمعرفة عدد الأسئلة التي يحتاجها كل نموذج كي يُفشي معلومات غير آمنة أو إجرامية. وقد قامت بذلك عبر 499 محادثة باستخدام تقنية تُعرف باسم هجمات متعددة الجولات "multi-turn attacks"، حيث يطرح المستخدمون الخبيثون سلسلة من الأسئلة للتحايل على وسائل الحماية. وكان في كل محادثة بين خمسة وعشرة تفاعلات. وقارَن الباحثون نتائج عدة أسئلة لتحديد مدى احتمال امتثال روبوت الدردشة لطلبات تتعلق بمعلومات ضارة أو غير مناسبة. وقد يشمل ذلك كل شيء من مشاركة بيانات خاصة بالشركات إلى تسهيل نشر المعلومات المضللة.

نسب النجاح والمخاطر

في المتوسط، تمكّن الباحثون من انتزاع معلومات خبيثة من 64 في المئة من محادثاتهم عندما وجّهوا إلى روبوتات الدردشة أسئلة متعددة، مقارنة بـ 13 في المئة فقط عند طرح سؤال واحد. وتراوحت نسب النجاح بين نحو 26 في المئة مع "Gemma" من "Google" و93 في المئة مع نموذج "Large Instruct" من "Mistral". وتشير النتائج إلى أن الهجمات متعددة الجولات قد تتيح انتشار محتوى ضار على نطاق واسع أو تمكّن قراصنة من الحصول على "وصول غير مصرح به" إلى معلومات حساسة تخص الشركات، وفقا لسيسكو. وتظهر الدراسة أن أنظمة الذكاء الاصطناعي تُخفق كثيرا في تذكّر قواعد السلامة وتطبيقها خلال المحادثات الأطول، ما يسمح للمهاجمين بتنقيح استفساراتهم تدريجيا وتفادي إجراءات الأمان. وتعمل "Mistral"، مثل "Meta" و"Google" و"OpenAI" و"Microsoft"، على نماذج لغوية كبيرة "LLMs" ذات أوزان مفتوحة "open-weight"، حيث يستطيع الجمهور الاطلاع على معايير السلامة التي تدربت عليها النماذج.

ثغرات الأمان ومسؤولية الاستخدام

تقول سيسكو إن هذه النماذج غالبا ما تتضمن "ميزات أمان مدمجة أخف" حتى يتمكن المستخدمون من تنزيل النماذج وتكييفها، ما ينقل مسؤولية السلامة إلى من يستخدم المعلومات مفتوحة المصدر لتخصيص نموذجه. وتجدر الإشارة إلى أن "Google" و"OpenAI" و"Meta" و"Microsoft" قالت إنها بذلت جهودا للحد من أي "fine-tuning" خبيث لنماذجها.

تداعيات أوسع وحوادث سابقة

تتعرض شركات الذكاء الاصطناعي لانتقادات بسبب تراخي ضوابط السلامة الذي سهّل تكييف أنظمتها لاستخدامات إجرامية. ففي أغسطس، على سبيل المثال، قالت الشركة الأمريكية "Anthropic" إن مجرمين استغلوا نموذجها "Claude" لتنفيذ سرقات واسعة النطاق وابتزاز بيانات شخصية، مطالبين بدفع فدى وصلت أحيانا إلى 500.000 دولار (433.000 يورو).


36 يومًا من الإغلاق الحكومي... كيف يتأثر الأمريكيون والاقتصاد معًا؟
商业 • 下午9:30
1 min
تشير تقديرات المحللين إلى أن كل أسبوع يمر من الإغلاق يكلف الاقتصاد الأمريكي ما بين 10 و30 مليار دولار، مع تقديرات عديدة حول 15 مليار دولار، وفق ماذكرت بلومبرغ.
阅读文章
تصويت حاسم على خطة أسهم ضخمة قد تبقيه في تيسلا… هل يصبح ماسك أول تريليونير في العالم؟
商业 • 下午4:01
3 min
تواجه تيسلا تصويتًا حاسمًا قد يمنح إيلون ماسك حزمة أسهم ضخمة تصل قيمتها إلى نحو تريليون دولار، ما قد يجعله أول تريليونير في العالم.
阅读文章
دراسة: معظم احتياطات السلامة لأدوات الذكاء الاصطناعي يمكن تجاوزها خلال دقائق قليلة
商业 • 下午3:52
1 min
خلص تقرير جديد إلى أن أنظمة الذكاء الاصطناعي "تنسى" تدابير السلامة كلما طال حديث المستخدم معها، ما يزيد احتمال تقديم معلومات ضارة أو غير ملائمة.
阅读文章
هيئة المنافسة الفرنسية تغرّم تطبيق الطب عن بعد "دوكتوليب" 4.6 مليون يورو بسبب ممارسات غير عادلة
商业 • 下午3:17
1 min
فرضت هيئة المنافسة الفرنسية غرامة قدرها 4,6 مليون يورو على شركة "دوكتوليب" للتطبيب عن بُعد، بدعوى ما وصفته بأنه سلوك مناهض للمنافسة.
阅读文章
غوغل تخطط لإطلاق مراكز بيانات للذكاء الاصطناعي إلى الفضاء بحلول 2027
商业 • 下午3:01
3 min
تسعى غوغل إلى نقل جزء من قدرات معالجة الذكاء الاصطناعي إلى الفضاء، عبر إطلاق مجموعة من الأقمار الصناعية التي ستؤدي دور مراكز بيانات تعمل بالطاقة الشمسية.
阅读文章
ألمانيا تغرم جي بي مورغان 45 مليون يورو بسبب إخفاقات مكافحة غسل الأموال
商业 • 下午2:26
1 min
فرضت هيئة الرقابة المالية الألمانية "بافين" غرامة قياسية على المصرف الأميركي "جيه بي مورغان" بسبب إخفاقات منهجية في ضوابط مكافحة غسل الأموال.
阅读文章
كوفيد-19 يعود إلى الواجهة: ارتفاع عالمي في الإصابات ومتحوّرات جديدة تثير القلق
商业 • 下午2:01
3 min
يعود فيروس كوفيد-19 إلى الواجهة من جديد، بعدما تراجع الاهتمام العالمي به، مع تسجيل ارتفاع في الإصابات وظهور متحوّرات جديدة.
阅读文章
دراسة: العلاج الإشعاعي لا يرفع معدلات البقاء لدى بعض مريضات سرطان الثدي
商业 • 下午1:24
1 min
أظهرت دراسة دولية أنّ العلاج الإشعاعي لم يُحدث فرقًا في معدلات البقاء على مدى عشر سنوات لدى نساء مصابات بسرطان الثدي في مراحله المبكرة والمصنّفات ضمن فئة "متوسط المخاطر".
阅读文章
قالت صانعة الرقائق نيكسبيريا إنها أوقفت شحناتها إلى الصين بسبب رفض الدفع
商业 • 上午10:42
1 min
قالت شركة صناعة الرقائق الهولندية "Nexperia" إنها أوقفت إرسال الرقائق إلى فرعها في الصين بسبب رفض السداد، في أحدث تطور بالمواجهة الأوروبية مع بكين بشأن أشباه الموصلات.
阅读文章
قاموس "كولينز" يختار مصطلح "فايب كودينغ" كلمة العام
商业 • 上午9:45
1 min
اختار قاموس "كولينز" مصطلح "فايب كودينغ" كلمة العام 2025، وهو نهج ناشئ في تطوير البرمجيات يعتمد على تحويل اللغة الطبيعية مباشرة إلى شيفرة برمجية باستخدام تقنيات الذكاء الاصطناعي.
阅读文章
كيف تحمي الدنمارك مواطنيها من الفيديوهات والصور المزيفة المصنوعة بالذكاء الاصطناعي؟
商业 • 上午9:36
1 min
تسعى الدنمارك إلى حماية المواطنين، بمن فيهم المؤدون والفنانون، من استخدام صورهم أو أصواتهم عبر تقنيات الذكاء الاصطناعي دون إذنهم أو موافقتهم.
阅读文章
النرويج تشدد الإجراءات الأمنية بعد تقارير عن إمكانية التحكم عن بُعد بحافلات صينية الصنع
商业 • 上午8:58
1 min
أظهرت الاختبارات أن الشركة الصينية المصنّعة كانت قادرة على الوصول إلى أنظمة التحكم في الحافلات بهدف تحديث البرمجيات وتشخيص الأعطال.
阅读文章
لماذا نصدق الأكاذيب؟ دراسة تكشف أسرار الخداع في الدماغ البشري
商业 • 上午8:01
1 min
خلصت الدراسة إلى أن الإنسان يميل لتصديق الأكاذيب التي تعده بالمكاسب، خصوصًا عندما تأتي من أشخاص مقربين أو موثوقين.
阅读文章
ليست بديلًا آمناً.. دراسة تكشف الوجه الآخر للسجائر الإلكترونية
商业 • 上午7:00
3 min
فيما يُروَّج للسجائر الإلكترونية بوصفها "أكثر أمانًا" من التدخين التقليدي، تكشف دراسة حديثة من جامعة جورجيا عن وجهٍ آخر لهذه الأجهزة، إذ تشير إلى أنها قد تحمل خطرًا خفيًا يتمثل في زيادة احتمال الإصابة بمرض السكري، لا سيّما بين الفئات الأكثر هشاشة اجتماعيً
阅读文章
المفرطون في شرب الكحول أكثر عرضة لنزيف دماغي في الشيخوخة وفق دراسة
商业 • 上午6:00
1 min
كان متوسط أعمار مفرطي شرب الكحول عند إصابتهم بسكتة دماغية 64 عاما، مقارنة بـ75 عاما لدى من يشربون كميات أقل من الكحول.
阅读文章
ثروات السودان.. من فرصة اقتصادية كبرى إلى وقودٍ لحربٍ مستمرة
商业 • 上午12:01
1 min
أصبحت تجارة الذهب غير المشروعة العمود الفقري لاقتصاد الحرب، إذ تُستخدم عائداتُ التعدين من قبل قوات الدعم السريع والجيش على حدّ سواء لتمويل العمليات العسكرية وشراء الوقود والأسلحة.
阅读文章