ساتيا ناديلا يدعو إلى مكابح طوارئ لأنظمة الذكاء الاصطناعي

مع تسارع قدرات الذكاء الاصطناعي واتساع نطاق المهام التي تنفذها النماذج بصورة شبه مستقلة، لم يعد تقييم جودة الإجابات كافياً لضمان سلامة هذه الأنظمة. ومن هذا المنطلق، دعا ساتيا ناديلا، الرئيس التنفيذي لشركة مايكروسوفت، إلى إعادة النظر في البنية التي تقوم عليها الثقة بالذكاء الاصطناعي، واقترح تزويد الأنظمة بآليات تحكم خارجية تشبه مكابح الطوارئ.

وتعكس هذه الدعوة تحولاً مهماً في النقاش التقني؛ إذ لم يعد السؤال مقتصراً على مدى ذكاء النموذج، بل أصبح يشمل القدرة على فهم أفعاله، ومراقبتها، واحتوائها، وإيقافها قبل أن تؤدي إلى نتائج ضارة أو غير قابلة للتراجع.

إعادة بناء الثقة في أنظمة الذكاء الاصطناعي

أوضح ناديلا، في منشور عبر منصة إكس، أن التعامل مع الأنظمة فائقة الذكاء بوصفها مجموعة من الصناديق السوداء المتداخلة ليس نهجاً مناسباً. فلا ينبغي للمستخدم أو المؤسسة أن يضطرا إلى قبول توصيات النموذج أو رفضها من دون معرفة كيفية تنفيذ المهمة أو العوامل التي أثرت في النتيجة.

وتزداد أهمية هذا المبدأ عندما تعمل النماذج كوكلاء رقميين قادرين على استخدام الأدوات، والوصول إلى البيانات، وتشغيل البرمجيات، واتخاذ سلسلة من الخطوات المتتابعة. ففي هذه الحالات، قد لا يكون الخطأ مجرد إجابة نصية غير دقيقة، بل إجراء فعلي يؤثر في أنظمة المؤسسة أو معلومات العملاء أو العمليات المالية.

فصل النموذج عن منظومة التشغيل

يرتكز تصور ناديلا على التمييز بين نموذج الذكاء الاصطناعي نفسه وبين الطبقة البرمجية التي تدير عمله. فالنموذج مسؤول عن الاستدلال وتوليد المخرجات، بينما تتولى منظومة التشغيل المحيطة به تحديد الأدوات المتاحة، والصلاحيات، وتسلسل المهام، وحدود الوصول إلى البيانات.

يسمح هذا الفصل بوضع ضوابط لا يستطيع النموذج تعديلها أو تجاوزها بمفرده. وبدلاً من الاعتماد كلياً على التعليمات المدمجة داخله، تصبح قواعد الأمان جزءاً من بنية مستقلة تراقب سلوكه وتمنع الإجراءات التي تتجاوز الحدود المحددة مسبقاً.

ويمكن أن تشمل هذه الضوابط:

• تحديد الصلاحيات وفقاً لطبيعة المهمة وحساسيتها.
• طلب موافقة بشرية قبل تنفيذ الإجراءات عالية المخاطر.
• تقييد الوصول إلى الملفات والأنظمة والبيانات السرية.
• مراقبة تسلسل الخطوات واكتشاف الأنماط غير المعتادة.
• إيقاف المهمة عند تجاوز قواعد الأمان أو ظهور سلوك مشبوه.

سجل واضح ومقاوم للتلاعب

من العناصر الأساسية في المقترح توثيق كل إجراء مهم ينفذه النموذج، مع إنشاء أدلة قابلة للقراءة البشرية ومحمية من التعديل. ويعني ذلك الاحتفاظ بسجل يوضح الأوامر التي تلقاها النظام، والموارد التي استخدمها، والقرارات التي اتخذها، والنتائج التي ترتبت عليها.

هذا النوع من التوثيق لا يهدف فقط إلى التحقيق بعد وقوع الخطأ، بل يساعد أيضاً على التدقيق المستمر والامتثال للسياسات واللوائح. كما يمنح فرق الأمن وإدارة المخاطر القدرة على تحديد المسؤوليات، وفهم سبب اتخاذ إجراء معين، وتحسين الضوابط لمنع تكرار المشكلة.

الإنسان يحتفظ بزر الإيقاف

شدد ناديلا كذلك على ضرورة تمكين شخص مخول من تعليق عمل النموذج أو إنهائه أثناء تنفيذ المهمة. ويمكن تشبيه هذه الآلية بمكابح الطوارئ في الأنظمة الصناعية ووسائل النقل؛ فهي لا تمنع جميع الأعطال، لكنها توفر وسيلة مباشرة للسيطرة عندما تصبح الاستجابة السريعة ضرورية.

ويتطلب تطبيق هذه الفكرة ألا يكون زر الإيقاف مرتبطاً بالنموذج ذاته أو خاضعاً لقراراته. بل يجب أن يعمل من خلال طبقة مستقلة وموثوقة، مع تحديد الأشخاص المخولين باستخدامه وتسجيل حالات التفعيل وأسبابها.

الأمان يبدأ بافتراض احتمال الاختراق

تتبنى رؤية ناديلا مبدأ معروفاً في الأمن السيبراني يقوم على عدم منح الثقة تلقائياً. وبدلاً من افتراض أن النموذج سيظل آمناً دائماً، ينبغي تصميم البيئة على أساس احتمال تعرضه للاختراق أو التضليل أو الانحراف عن المهمة.

هذا النهج لا يعني اعتبار الذكاء الاصطناعي خطراً بطبيعته، وإنما الاعتراف بأن الأنظمة المعقدة قد تفشل بطرق غير متوقعة. لذلك يصبح الاحتواء منذ البداية، وتقليل الصلاحيات، والمراقبة المستمرة، والاستعداد للإيقاف عناصر ضرورية عند نشر النماذج في البيئات الحساسة.

رسالة إلى قطاع التقنية

تأتي تصريحات رئيس مايكروسوفت بالتزامن مع تصاعد الاهتمام بسلامة النماذج المتقدمة، وظهور نقاشات أوسع حول حالات يصعب فيها توقع سلوك الأنظمة أو التحكم فيه بالكامل. كما تتقاطع مع دعوات قادة شركات أخرى، ومن بينهم داريو أمودي الرئيس التنفيذي لشركة أنثروبيك، إلى تطوير الذكاء الاصطناعي بوتيرة أكثر حذراً.

الخلاصة أن سلامة الذكاء الاصطناعي لن تتحقق عبر تحسين النموذج وحده. فالثقة الحقيقية تحتاج إلى بنية متكاملة تجمع بين الشفافية، وفصل الصلاحيات، والتوثيق، والرقابة البشرية، وآليات الاحتواء الفوري. وكلما زادت استقلالية النماذج، أصبحت مكابح الطوارئ جزءاً أساسياً من التصميم، لا ميزة اختيارية تضاف بعد إطلاق النظام.

✦ بقلم فريق دروب أيديا