Quand un agent IA doit s’arrêter et demander validation
Un agent ne doit pas seulement être rapide. Il doit savoir s’arrêter avant de faire une connerie coûteuse. C’est ça, le point de gouvernance. Pas de la théorie. Un simple seuil d’arrêt évite de transformer un automatisme utile en problème durable.
La doctrine est simple : si le contexte manque, l’agent s’arrête ou pose une question. L’humain garde l’arbitrage final. second cerveau IA pose déjà la séparation de base. Ici, on descend au niveau des cas où la validation devient obligatoire.
Les cas où l’arrêt est non négociable
Quand tu définis les seuils d’arrêt, tu ne dois pas chercher la perfection. Tu dois chercher les zones à risque.
Le vrai sujet n’est pas d’ajouter un agent de plus.
Si tu veux construire un système d’agents utile, il te faut surtout une structure claire, de bons arbitrages et des retours terrain. C’est exactement ce qu’on partage dans Kavyro.
Tu arrives avec ton sujet, tu repars avec plus de clarté.
| Signal | Pourquoi s’arrêter | Question à poser à l’humain |
|---|---|---|
| Argent, prix, budget, engagement financier | Une erreur coûte tout de suite | « Tu confirmes le montant, le périmètre ou le plan proposé ? » |
| Publication publique | Le mauvais texte part au mauvais endroit | « Tu veux publier cette version telle quelle ? » |
| Action irréversible, suppression, écrasement | Le retour arrière est limité ou impossible | « Tu confirmes la suppression ou la modification finale ? » |
| Données privées ou sensibles | Le risque n’est pas seulement opérationnel | « Ces données peuvent-elles être utilisées dans cette tâche ? » |
| Permissions, accès, identifiants, sécurité | Le système peut dépasser son périmètre | « Tu valides cette action d’accès ou je m’arrête ? » |
| Contexte manquant ou contradictoire | L’agent improvise au lieu de décider | « Il manque quel élément pour continuer proprement ? » |
Tu peux ajouter une septième catégorie si ton contexte l’exige : tout ce qui touche à une règle métier déjà validée. Si une sortie contredit le cadre, l’agent ne force pas. Il remonte le point et attend.
À quoi ressemble une bonne validation
La validation ne doit pas être un rituel lourd. Elle doit être courte, précise et exploitable.
Mauvais format : “Je ne suis pas sûr, tu peux regarder ?”
Bon format : “J’ai deux options. La première conserve le cadre actuel. La deuxième modifie le périmètre et change le délai. Tu valides laquelle ?”
Tu peux aussi poser la validation sous forme de choix fermé. Plus la décision est sensible, plus la question doit être nette. L’agent ne doit pas essayer de convaincre. Il doit exposer le point d’arrêt.
Le piège des faux arrêts et des faux non-arrêts
Il y a deux erreurs fréquentes.
La première, c’est de faire remonter tout et n’importe quoi. Là, tu tues l’utilité du système. L’humain passe son temps à valider des bricoles.
La deuxième, c’est de laisser passer des cas sensibles parce que la sortie a l’air propre. C’est pire. Le système donne une impression de maîtrise alors qu’il avance sans garde-fou.
Le bon réglage, c’est simple : tu remontes ce qui change le coût, le risque ou le cadre. Tu laisses passer ce qui est réversible, bénin et déjà cadré. Dans un système propre, le stop ne sert pas à ralentir. Il sert à éviter de transformer une petite hésitation en erreur durable. C’est ce qui permet à l’agent de rester utile sans franchir le mauvais seuil.
Une règle utile à garder en tête
Si l’action engage une conséquence que tu ne veux pas assumer seul, l’agent s’arrête.
Cette règle marche pour beaucoup de cas sans avoir besoin d’une politique interminable. Elle force à distinguer l’exécution de la décision. Et c’est exactement ce qu’il faut dans un système d’agents utile.
Un exemple concret
Imagine qu’un agent prépare une réponse pour un client.
S’il doit juste reformuler un message déjà validé, il peut avancer.
S’il doit changer le prix, modifier le périmètre ou envoyer un engagement qui n’a pas encore été relu, il s’arrête.
S’il détecte une contradiction entre deux sources, il ne choisit pas au hasard. Il pose la question, montre le point de tension, et attend l’arbitrage.
La validation utile contient trois choses : ce qui change, pourquoi ça compte, et ce que l’humain doit trancher. Si tu demandes juste “tu valides ?”, tu déplaces la charge mentale sur la personne qui lit. Si tu présentes le point d’arrêt avec les options, la décision devient rapide. C’est ça, la différence entre une validation qui protège et une validation qui fatigue.
C’est exactement comme ça qu’on évite le faux confort de l’autonomie complète. Un agent qui sait demander validation au bon moment est beaucoup plus utile qu’un agent qui force le passage.
Pour poser les règles dans le bon système, relis second cerveau pour le cadre global, puis mémoire IA pour la séparation entre mémoire, contexte et historique.
Le bon réflexe, ce n’est pas de faire confiance à tout. C’est de définir ce qui peut passer seul et ce qui doit remonter. Si tu fais ce tri avant d’automatiser, tu évites beaucoup de dégâts. Si tu ne le fais pas, tu vas juste accélérer les mauvaises décisions.
