An AI agent is a system that does not just answer, it acts. Given a goal, it can plan steps, call tools, and take actions in the world, from sending a message to updating a record to triggering another process, with limited or no human intervention between the goal and the outcome. That shift from advising to acting is what makes agents powerful and what makes them a distinct governance problem.
Automation is not new, but AI agents change its character. A traditional automation follows a fixed script, so its behavior is fully predictable and its failures are repeatable bugs. An agent decides how to reach a goal, so its path can vary, and a small misunderstanding of the goal can lead it to take a confident, wrong action at speed. The value is enormous, work that once needed a person can run continuously, but the control problem is that you are no longer reviewing an output, you are trusting a decision to act.
This framework treats agents as a controlled extension of AI governance: everything from the governance of AI applies, plus a specific discipline for the fact that these systems act. It aligns to the AI risk guidance of NIST and the management-system approach of ISO/IEC 42001, and borrows the least-privilege and monitoring logic of security operations, without reproducing any of their text.
وكيل الذكاء نظامٌ لا يجيب فحسب بل يفعل. فبإعطائه هدفًا، يستطيع تخطيط خطوات، واستدعاء أدوات، واتّخاذ أفعالٍ في العالم، من إرسال رسالةٍ إلى تحديث سجلٍّ إلى إطلاق عمليةٍ أخرى، بتدخّلٍ بشري محدود أو معدوم بين الهدف والنتيجة. وذلك التحوّل من النصح إلى الفعل هو ما يجعل الوكلاء أقوياء وما يجعلهم مشكلة حوكمةٍ مميَّزة.
الأتمتة ليست جديدة، لكن وكلاء الذكاء يغيّرون طبيعتها. فالأتمتة التقليدية تتبع نصًّا ثابتًا، فسلوكها متوقَّع تمامًا وإخفاقاتها عللٌ متكرّرة. أما الوكيل فيقرّر كيف يبلغ الهدف، فقد يتباين مساره، وسوء فهمٍ صغير للهدف قد يقوده لاتّخاذ فعلٍ واثقٍ خاطئ بسرعة. والقيمة هائلة، فعملٌ كان يحتاج شخصًا يستطيع أن يجري باستمرار، لكن مشكلة الضبط أنك لم تعُد تراجع مخرجًا، بل تأتمن قرارًا بالفعل.
يعامل هذا الإطار الوكلاء كامتدادٍ مضبوط لحوكمة الذكاء: ينطبق كل ما في حوكمة الذكاء، مع انضباطٍ خاص لكون هذه الأنظمة تفعل. ويتوافق مع إرشاد مخاطر الذكاء من NIST ونهج نظام الإدارة في ISO/IEC 42001، ويستعير منطق أقلّ الصلاحية والمراقبة من عمليات الأمن، دون نسخ أي نصّ.
Not every agent should be trusted equally. Autonomy is a dial, not a switch, and the single most important design decision is how far to turn it for a given task, matched to how much the mistake would cost and how much you trust the agent.
It helps to think of autonomy as a ladder. At the bottom, the AI only suggests, and a human does everything. One rung up, the AI drafts an action and a human approves it before it happens. Higher still, the AI acts on its own but a human can review and reverse it afterward. At the top, the AI acts with no human in the loop at all. Each rung trades safety for speed, and the right rung depends entirely on the stakes of the action.
| Level | The AI | The human | Fits when |
|---|---|---|---|
| Suggest | Recommends only | Decides and acts | High stakes, low trust |
| Approve | Proposes the action | Approves before it runs | Consequential, reversible with effort |
| Act & review | Acts, then reports | Can review and reverse | Moderate stakes, easily reversible |
| Full | Acts alone | Sets goals and monitors | Low stakes, high volume, easy to undo |
The discipline is to start low and earn the way up. A new agent begins by only suggesting, and as evidence accumulates that it is reliable for a task, its autonomy is raised deliberately, not by default. Granting full autonomy on day one, before any track record exists, is the most common and most avoidable way an agent causes harm.
ليس كل وكيلٍ يُؤتمَن بالتساوي. الاستقلالية قرصٌ لا مفتاح، وأهمّ قرار تصميمٍ مفرد كم تديره لمهمةٍ بعينها، مطابَقًا لكم سيكلّف الخطأ وكم تثق بالوكيل.
يفيد تصوّر الاستقلالية كسُلَّم. في الأسفل، يقترح الذكاء فقط، ويفعل الإنسان كل شيء. ودرجةً أعلى، يصيغ الذكاء فعلًا ويعتمده إنسانٌ قبل وقوعه. وأعلى، يفعل الذكاء وحده لكن يستطيع إنسانٌ مراجعته وعكسه بعدها. وفي القمة، يفعل الذكاء بلا إنسانٍ في الحلقة إطلاقًا. وكل درجةٍ تقايض الأمان بالسرعة، والدرجة الصحيحة تعتمد كليًا على رهان الفعل.
| المستوى | الذكاء | الإنسان | يلائم حين |
|---|---|---|---|
| يقترح | يوصي فقط | يقرّر ويفعل | رهانٌ عالٍ، ثقةٌ منخفضة |
| يعتمد | يقترح الفعل | يعتمده قبل تشغيله | ذو عواقب، قابل للعكس بجهد |
| يفعل ويراجَع | يفعل ثم يُبلّغ | يستطيع المراجعة والعكس | رهانٌ متوسط، سهل العكس |
| كامل | يفعل وحده | يضع الأهداف ويراقب | رهانٌ منخفض، حجمٌ كبير، سهل الإلغاء |
والانضباط أن تبدأ منخفضًا وتكسب الصعود. فوكيلٌ جديد يبدأ بالاقتراح فقط، ومع تراكم الدليل على موثوقيته لمهمة، تُرفَع استقلاليته عن قصد لا تلقائيًا. ومنح الاستقلالية الكاملة في اليوم الأول، قبل وجود أي سجلٍّ، أشيع وأسهل طرق إحداث الوكيل للأذى تفاديًا.
An agent should be able to do exactly what its job needs and nothing more. Guardrails are the explicit limits on what an agent may access and do, and they are the primary defense when the agent, inevitably, tries to do something its designer did not intend.
The most important guardrail is least privilege, borrowed directly from security. An agent is given access only to the specific tools, data, and actions its task requires, so that even if it misbehaves, the blast radius is bounded by what it was allowed to touch. An agent that only needs to read a calendar should not hold the ability to send email or move money, because a capability it never uses in normal operation is a capability available for misuse when something goes wrong.
Circuit breakers deserve emphasis because agents act at machine speed. A human making a mistake makes it once and notices, while an agent making a mistake can repeat it hundreds of times in seconds. A simple rule that halts the agent when its rate or pattern of actions crosses a threshold turns a potential runaway into a contained pause, and it is far cheaper to build in advance than to explain afterward.
ينبغي أن يستطيع الوكيل فعل ما تحتاجه وظيفته بالضبط لا أكثر. الحواجز هي الحدود الصريحة على ما يصل إليه الوكيل وما يفعله، وهي الدفاع الأول حين يحاول الوكيل، حتمًا، فعل ما لم يقصده مصمّمه.
أهمّ حاجزٍ هو أقلّ الصلاحية، مستعارٌ مباشرةً من الأمن. فيُمنَح الوكيل وصولًا فقط للأدوات والبيانات والأفعال التي تتطلّبها مهمته، حتى لو أساء التصرّف يكون نطاق انفجاره محدودًا بما سُمِح له بمسّه. فوكيلٌ يحتاج فقط قراءة تقويمٍ ينبغي ألّا يملك القدرة على إرسال بريدٍ أو تحريك مال، لأن قدرةً لا يستخدمها في التشغيل الطبيعي قدرةٌ متاحة لإساءة الاستخدام حين يسوء شيء.
وتستحق القواطع تأكيدًا لأن الوكلاء يفعلون بسرعة الآلة. فإنسانٌ يُخطئ يُخطئ مرةً وينتبه، ووكيلٌ يُخطئ قد يكرّره مئاتٍ في ثوانٍ. وقاعدةٌ بسيطة توقف الوكيل حين يتجاوز معدّل أفعاله أو نمطها عتبةً تحوّل انفلاتًا محتملًا إلى وقفةٍ محتواة، وبناؤها مسبقًا أرخص بكثير من تفسيرها لاحقًا.
Autonomy does not remove the human, it changes the human's job from doing the work to governing the system that does it. Effective oversight means a person can understand what the agent is doing, and can stop or correct it when needed.
Three capabilities make oversight real. The person must be able to see what the agent is doing, through a clear log of its actions and reasoning. They must be able to intervene, with a reliable way to pause, correct, or reverse the agent. And they must have the authority and the time to do so, rather than being nominally responsible for a system moving too fast to supervise. Remove any of the three and oversight becomes a name on an org chart with no power behind it.
Every agent that can act needs a reliable off switch, a single, well-known way to stop it immediately, and that switch has to work even when the agent is misbehaving. This sounds obvious, but it is often missing or untested, and an off switch nobody has tried is a hope, not a control. The switch should be tested deliberately, the same way a fire drill tests an evacuation, so that when it is needed in earnest it works the first time.
الاستقلالية لا تُزيل الإنسان، بل تغيّر وظيفته من أداء العمل إلى حوكمة النظام الذي يؤدّيه. والإشراف الفعّال يعني أن شخصًا يستطيع فهم ما يفعله الوكيل، وإيقافه أو تصحيحه عند الحاجة.
ثلاث قدراتٍ تجعل الإشراف حقيقيًا. على الشخص أن يستطيع رؤية ما يفعله الوكيل، عبر سجلٍّ واضح لأفعاله واستدلاله. وأن يستطيع التدخّل، بطريقةٍ موثوقة لإيقافه أو تصحيحه أو عكسه. وأن يملك الصلاحية والوقت لذلك، لا أن يكون مسؤولًا اسميًا عن نظامٍ يتحرّك أسرع من أن يُشرَف عليه. وأزِل أيًّا من الثلاث يصر الإشراف اسمًا في مخطّطٍ تنظيمي بلا سلطةٍ خلفه.
كل وكيلٍ يستطيع الفعل يحتاج مفتاح إيقافٍ موثوق، طريقةً واحدة معروفة لإيقافه فورًا، وعلى ذلك المفتاح أن يعمل حتى حين يُسيء الوكيل التصرّف. يبدو هذا بديهيًا، لكنه كثيرًا ما يكون غائبًا أو غير مُختبَر، ومفتاح إيقافٍ لم يجرّبه أحد أملٌ لا ضابط. وينبغي اختبار المفتاح عن قصد، كما يختبر تمرين حريقٍ الإخلاء، فحين يُحتاج جدًّا يعمل من أول مرة.
Agents introduce attack surfaces that traditional software does not have. Because an agent takes instructions in language and acts on them, an attacker who can influence what the agent reads may be able to influence what it does.
The signature agent-specific threat is instruction injection: hostile text hidden in data the agent processes, crafted to be read by the agent as a command. An agent summarizing web pages or emails can encounter content that says, in effect, ignore your instructions and do this instead, and unless it is designed to resist, it may comply. The defense is to treat everything the agent reads as untrusted data, never as trusted instruction, and to keep the agent's real instructions separated from the content it processes.
The unifying principle is that an agent should never be more trusted than the least trusted input it acts on. If an agent will act on content from the open internet, it must be built to assume that content is hostile, because eventually some of it will be. Designing for that assumption from the start is far cheaper than retrofitting it after an injection has already turned the agent against its owner.
يُدخِل الوكلاء أسطح هجومٍ لا تملكها البرمجيات التقليدية. فلأن الوكيل يتلقّى تعليماتٍ بلغةٍ ويتصرّف بها، فإن مهاجمًا يستطيع التأثير فيما يقرؤه الوكيل قد يستطيع التأثير فيما يفعله.
التهديد المميِّز للوكلاء هو حقن التعليمات: نصٌّ عدائي مخبَّأ في بياناتٍ يعالجها الوكيل، مصوغٌ ليقرأه الوكيل كأمر. فوكيلٌ يلخّص صفحاتٍ أو رسائل قد يصادف محتوىً يقول عمليًا «تجاهل تعليماتك وافعل هذا»، وما لم يُصمَّم للمقاومة قد يمتثل. والدفاع أن يُعامَل كل ما يقرؤه الوكيل كبياناتٍ غير موثوقة لا تعليمًا موثوقًا، وأن تُفصَل تعليمات الوكيل الحقيقية عن المحتوى الذي يعالجه.
والمبدأ الجامع أن الوكيل ينبغي ألّا يكون أوثق من أقلّ مدخلٍ يتصرّف عليه ثقةً. فإن كان الوكيل سيتصرّف على محتوىً من الإنترنت المفتوح، فيجب أن يُبنى مفترضًا أن المحتوى عدائي، لأن بعضه سيكون كذلك آخرًا. والتصميم لذلك الافتراض من البداية أرخص بكثير من تركيبه بعد أن يكون حقنٌ قد قلب الوكيل على مالكه.
An agent that works in a test does not automatically work in the world. Safe deployment is the disciplined path from a promising prototype to a trusted production system, and it is where most of the real risk is either contained or released.
The safest rollouts are gradual and reversible. An agent is first run in a mode where it acts but its actions are held for human approval, so its judgment can be observed without consequence. Then it is released to a small, low-stakes slice of real work, watched closely, and expanded only as it earns trust. At each step, the question is not whether the agent is perfect, but whether its failures are visible and bounded, so that a mistake is a lesson rather than a disaster.
Monitoring after deployment is not optional, it is the larger half of the work. An agent operates in a changing world, and the conditions that made it reliable can shift, so the same measurement and incident discipline that governs any AI system applies continuously here, with the added urgency that this system is taking actions, not just making predictions.
وكيلٌ يعمل في اختبارٍ لا يعمل تلقائيًا في العالم. والنشر الآمن هو الطريق المنضبط من نموذجٍ واعد إلى نظام إنتاجٍ موثوق، وهو حيث يُحتوى أغلب الخطر الحقيقي أو يُطلَق.
أأمن عمليات الطرح تدريجية وقابلة للعكس. فيُشغَّل الوكيل أولًا في وضعٍ يفعل فيه لكن تُحجَز أفعاله لاعتماد إنسانٍ، فيُلاحَظ حكمه بلا عاقبة. ثم يُطلَق لشريحةٍ صغيرة منخفضة الرهان من العمل الحقيقي، تُراقَب عن كثب، ويُوسَّع فقط مع كسبه الثقة. وفي كل خطوة، السؤال ليس هل الوكيل مثالي، بل هل إخفاقاته مرئية ومحدودة، فيكون الخطأ درسًا لا كارثة.
المراقبة بعد النشر ليست اختيارية، بل النصف الأكبر من العمل. فالوكيل يعمل في عالمٍ متغيّر، والظروف التي جعلته موثوقًا قد تنزاح، لذا ينطبق هنا انضباط القياس والحوادث الذي يحوكم أي نظام ذكاءٍ باستمرار، بإلحاحٍ إضافي لأن هذا النظام يتّخذ أفعالًا لا يتنبّأ فحسب.
AI agents deliver automation that decides and acts, so their governance is the disciplined granting of the ability to act in proportion to earned, monitored trust.
وكلاء الذكاء يقدّمون أتمتةً تقرّر وتفعل، فحوكمتهم هي المنح المنضبط للقدرة على الفعل بقدر ثقةٍ مكسوبة ومراقَبة.