مع تزايد قدرات الذكاء الاصطناعي واستقلالية أنظمته، تتصاعد تحديات مراقبة سلوك النماذج المتقدمة والتحكم في إجراءاتها، خصوصاً مع وصولها إلى بيانات حساسة وتنفيذها مهام بالغة الأهمية نيابة عن البشر.

وفي منشور بعنوان "النماذج بوصفها مخاطر داخلية في عصر الذكاء الفائق"، دعا ساتيا ناديلا، الرئيس التنفيذي لشركة "مايكروسوفت"، إلى تطوير أنظمة مزودة بضوابط بشرية مستقلة و"فرامل طوارئ" تتيح إيقاف النماذج أثناء تنفيذ المهام.

مخاطر النماذج المتقدمة

أوضح ناديلا أن البرمجيات التقليدية أتاحت تتبع سلوكها إلى مسارات برمجية محددة، بينما يصعب فهم آليات عمل نماذج الذكاء الاصطناعي المتقدمة وربط مخرجاتها ببيانات تدريب أو إعدادات أوزان محددة.

وشدد على أن ضمانات الشركات المطورة لا تعفي من المسؤولية عن الإجراءات التي تنفذها النماذج نيابة عن البشر، داعياً إلى الفصل بين قدرات الذكاء الاصطناعي وسلطة التحكم فيها.

واعتبر أن التعامل مع النماذج المغلقة ومفتوحة الأوزان بوصفها مخاطر داخلية محتملة يساعد على احتوائها، لأنها قد ترتكب أخطاء أو تتعرض للاختراق، حتى إن لم تكن خبيثة.

ودعا إلى اعتماد مقاربة هندسية للاحتواء والحوكمة، تقوم على تصميم أنظمة قابلة للتنبؤ وضوابط بشرية وإجراءات تشغيل موثوقة.

https://t.co/MjwFy73LOF

— Satya Nadella (@satyanadella) October 10, 2026

سبعة مبادئ لحماية الأنظمة

طرح ناديلا سبعة مبادئ تبدأ بتنوع النماذج لمنع الاعتماد على نموذج واحد أو تكليفه بمراجعة عمله، وتوثيق كل إجراء مهم بأدلة مفهومة للبشر ومحمية من التلاعب.

وتشمل الاختبار المستمر للنظام بأكمله، بما فيه حالات الفشل والهجمات، وفرض ضوابط مستقلة تحدد صلاحيات الوصول وتنفيذ الإجراءات، إلى جانب تدقيق مستقل في سلوك الأنظمة.

أما الاحتواء، فيستند إلى افتراض احتمال اختراق النموذج منذ البداية، مع توفير "فرامل طوارئ" تسمح للمخوّلين بإيقافه موقتاً أو إغلاقه أثناء العمل. ويشمل المبدأ السابع الإفصاح عن الحوادث والاختراقات وتبادل أسباب الإخفاق والدروس المستفادة على مستوى القطاع.

الثقة بالأنظمة لا بالنماذج

أكد ناديلا ضرورة فصل النموذج عن بيئة تشغيله وصلاحياته، وإبقاء الضوابط الأمنية خارجه لمنعه من تجاوزها، استناداً إلى مبادئ أمنية تعود إلى سبعينيات القرن الماضي.

واعتبر شفافية سلسلة التفكير مطلباً أساسياً، لكنها غير كافية لضمان صدق مخرجات النماذج. وحذر من الاعتماد على نماذج غامضة تراقب نماذج أخرى غير شفافة.

واختصر موقفه بأن نظام الذكاء الفائق الأكثر جدارة بالثقة ليس الذي يضم النموذج الأكثر موثوقية، بل الذي يتطلب أقل قدر ممكن من الثقة بالنموذج نفسه.