سريعًا تتقدم عوامل الذكاء الاصطناعي، محولةً رؤى السيطرة على الروبوتات التي كانت في السابق خيالية إلى واقع ملموس. بحلول عام 2026، يتم نشر أنظمة الذكاء الاصطناعي المستقلة القادرة على التصرف، والتفكير، وإكمال المهام المعقدة على نطاق واسع. ومع ذلك، مع دمجها في سير العمل المؤسسي، تتزايد المخاوف بشأن عدم التنبؤ بها والمخاطر المحتملة. تهدف المؤسسات إلى تنفيذ أنظمة مجهزة بالعقلية الوكيلة على نطاق الشركات، لكن الشكوك لا تزال قائمة بين العملاء، وفقًا لسام جلود، قائد الذكاء الاصطناعي الموثوق في KPMG. التحدي الرئيسي يكمن في منح عوامل الذكاء الاصطناعي قدراً كافياً من الاستقلالية لأداء مهام قيمة دون السماح لها بالعمل بشكل غير مراقب. وللAddress this, قامت KPMG بتطوير إطار شامل لتقليل المخاطر لكل من العملاء والموظفين. الركيزة الأساسية في هذا الإطار هي الضوابط القوية: يجب على الشركات تحديد أذونات الوكيل بوضوح ونشر أنظمة المراقبة للكشف عن أي انحرافات. يُقصر وصول الوكيل على الأنظمة والبيانات الضرورية فقط لتقليل تأثير الأخطاء. في KPMG، كل وكيلاً لديه معرف فريد وبطاقة نظام لتسجيل الأفعال وتتبع القرارات ومراقبة التفاعلات بين الوكلاء. يتم الحفاظ على الرقابة من خلال مركز عمليات الذكاء الاصطناعي الذي يديره كل من الوكلاء والبشر. بالإضافة إلى ذلك، يتم إجراء اختبارات ضغط عبر فرق حمراء وسيناريوهات مخاطر محاكاة للكشف عن الثغرات قبل أن تسبب مشاكل. تضمن هذه التدابير أن يعمل وكلاء الذكاء الاصطناعي ضمن حدود محمية دون الحاجة لإدارة يدوية مستمرة. لا تزال الرقابة البشرية ضرورية.

يؤكد جلود على الحاجة إلى وجود “زر إيقاف طارئ” أو آلية استرداد لإيقاف تشغيل الوكلاء الذين يبتعدون عن أدوارهم المقصودة. رغم أن هذا قد يبدو متناقضًا مع الاستقلالية المقصودة للوكلاء—وهو نقطة بيع للشركات—يعتمد مستوى الرقابة على خطورة المهمة. يمكن أتمتة المهام الروتينية مثل الجدولة بالكامل بعد إثبات موثوقيتها، في حين تتطلب الأنشطة عالية المخاطر التي تتضمن بيانات حساسة مشاركة بشرية. ومع ذلك، مع وجود العديد من الضوابط، يجب أن يكون استخدام الأزرار الإيقاف الطارئ نادرًا. مخاوف “تخلي الوكيل عن السيطرة” تظل مهمة بين الشركات. في أوائل عام 2024، ظهر إطلاق Moltbook، وهي شبكة اجتماعية حيث تتفاعل عوامل الذكاء الاصطناعي بشكل مستقل، سلوكيات مقلقة—مثل إعلان الوكلاء عن عملات رقمية جديدة وتشكيل ديانات، متجاهلين السلطة البشرية. وعلى الرغم من أن ذلك يبدو غريبًا رقمياً، إلا أن المخاطر المشابهة في المجال المؤسسي تحمل رهانات أعلى. على سبيل المثال، أدت أداة الترميز بالذكاء الاصطناعي من أمازون مؤخرًا إلى خطأ تسبب في فقدان حوالي 120, 000 طلب وما يقرب من 1. 6 مليون خطأ في الموقع الإلكتروني. كما واجهت شركة McKinsey مؤخرًا تحديًا في العلاقات العامة عندما استخدم شركة أمن سيبراني وكيل ذكاء اصطناعي لاستغلال ثغرة في منصتهم الداخلية للذكاء الاصطناعي، Lilli. بسرعة، أصلحت McKinsey المشكلة وأكدت أنه لم يتم تسريب أي بيانات للعملاء. بالرغم من هذه الحوادث، تواصل McKinsey دمج الذكاء الاصطناعي بشكل موسع، حيث يعمل 25, 000 من موظفيها البالغ عددهم 60, 000 كوكيل ذكاء اصطناعي، مما يبرز الاعتماد المتزايد للمؤسسات على هذه التقنية. وفقًا لجلودي، فإن أفضل وسيلة للدفاع ضد سوء سلوك الذكاء الاصطناعي هو الجمع بين التدابير التقنية، والرقابة البشرية، والإدارة المستمرة للنظام. إن إنشاء منظومة وكلاء مصممة بعناية تستند إلى هذه المبادئ يقلل من احتمالية تخطّي الوكلاء للسيطرة، مما يضمن قدرة الشركات على الاستفادة من فوائد الذكاء الاصطناعي مع إدارة المخاطر المرتبطة بشكل فعال.