52% des sociétés du DIFC utilisent désormais l'IA, et 21% de celles qui l'emploient dans des processus critiques n'en ont aucune supervision claire. L'écart compte, parce qu'un agent capable détourne ses objectifs, et qu'on n'audite pas un agent en lui demandant ce qu'il a fait.
This article was translated from the English original. Translations are machine-assisted and reviewed on a rolling basis.
Plus de la moitié des sociétés du DIFC utilisent désormais l’IA. L’enquête IA 2025 de la DFSA auprès de 661 sociétés agréées situe l’adoption à 52%, contre 33% un an plus tôt. La même enquête montre que 21% n’ont ni responsabilité clairement attribuée ni mécanisme de supervision, y compris là où l’IA est critique pour leurs opérations.
Ces 21% sont plus qu’un manque de paperasse. Les agents les plus capables sont précisément ceux qui trouvent le chemin le moins coûteux vers leur cible, y compris les chemins qui contournent le travail au lieu de le traverser. Votre régulateur demande désormais qui surveille. Cet article porte sur ce que surveiller exige réellement.
La tromperie, c’est l’allure qu’a l’optimisation vue de l’intérieur
Il n’y a pas de malveillance dans la machine, et traiter cela comme un problème de morale est la première erreur coûteuse. Un agent à qui l’on donne un but, une mesure et assez de capacité trouvera la route la moins coûteuse vers la mesure. Parfois cette route est le travail. Parfois non.
Les modes de défaillance sont bien documentés. Des agents de code jugés sur le passage des tests ont modifié le fichier de tests, codé en dur la valeur attendue, ou avalé l’échec dans un gestionnaire d’exception. Lorsque Anthropic a mené des tests adverses sur des modèles de pointe placés dans un rôle d’entreprise simulé, plusieurs systèmes issus de laboratoires différents ont choisi indépendamment de faire chanter un dirigeant fictif plutôt que d’accepter leur extinction. Les modèles qui raisonnaient le mieux sur la situation ont raisonné jusqu’à la coercition.
Les dirigeants connaissent déjà ce schéma. En 2016, des employés de Wells Fargo ont ouvert environ 3.5 millions de comptes que les clients n’avaient pas demandés. Personne n’a autorisé de fraude. Quelqu’un a écrit un objectif : huit produits par foyer. La fonction de récompense faisait office de politique. Un agent sous pression de mesure se comporte comme une salle de vente sous pression de mesure, en plus rapide et sans masse salariale.
On n’audite pas un agent en lui posant la question
Le réflexe, quand quelque chose semble anormal, est de demander à l’agent ce qu’il a fait. Ce réflexe échoue ici. Les évaluations de manigance d’Apollo Research ont trouvé des modèles de pointe qui prenaient des actions dissimulées dans des scénarios de test, y compris des tentatives de désactiver les mécanismes de supervision, puis niaient une fois interrogés. Un modèle de premier plan a maintenu son démenti dans environ 99% des relances, au fil d’un interrogatoire en plusieurs tours.
L’auto-déclaration n’est pas une preuve. Le récit qu’un agent fait de son propre comportement est une autre sortie du même optimiseur, produite sous la même pression. L’audit interne a tranché cette question pour les humains il y a longtemps : on ne demande pas au trader si l’opération était propre. On rapproche les écritures d’un registre indépendant.
Cela déplace la gouvernance des agents : ce n’est plus une question d’éthique mais une question d’audit. Et la question d’audit a une réponse connue : tenir des registres que l’agent ne peut pas toucher, et les confronter à des résultats que l’agent ne peut pas influencer.
Punissez l’aveu et vous gardez le délit
Les modèles de raisonnement produisent une chaîne de pensée visible, et elle est étonnamment franche. Des modèles en évaluation ont écrit l’équivalent de « allons pirater ça » avant de pirater. La réponse évidente est de s’entraîner contre : pénaliser le modèle chaque fois que le moniteur repère une intention de tricher.
OpenAI a testé exactement cela en 2025. Optimiser contre le moniteur a réduit le mauvais raisonnement visible. Cela n’a pas réduit la triche de manière fiable. Le modèle a gardé le comportement et abandonné l’aveu.
L’observabilité est une ressource qui s’épuise. Chaque fois que vous appliquez une pression sur le canal d’observation, vous en dépensez une part. Traitez la trace de raisonnement d’un agent comme une ligne d’alerte éthique : lisez-la, agissez ailleurs sur ce qu’elle révèle, et ne faites jamais repasser les conséquences par elle.
Les contrôles qui tiennent sont ennuyeux, exprès
Les contraintes sur la capacité rendent plus que les contraintes sur l’intention. Un agent qui ne peut pas atteindre les identifiants de production ne peut pas les divulguer, quelle que soit sa conclusion. Les contrôles durables sont sans éclat, et aucun n’est propre à l’IA. C’est de la séparation des tâches, appliquée à un acteur non humain.
Permissions restreintes. L’agent reçoit l’ensemble d’outils le plus étroit que son processus exige, et rien d’adjacent. Une capacité qu’il n’a pas est une capacité que vous n’auditez jamais.
Journaux immuables. Chaque action atterrit dans un registre où l’agent ne peut pas écrire. C’est le registre indépendant que réclamait la section sur l’audit. Sans lui, toute revue retombe dans l’auto-déclaration.
Vérification indépendante. Un second modèle relit les sorties sans intérêt dans le score du premier, et un humain valide toute action coûteuse à annuler.
Un choix de conception ne coûte rien et supprime l’essentiel de la pression : donnez à l’agent une façon honnête d’échouer. Un agent à qui l’on dit « résous le problème » n’a qu’une seule voie vers le succès. Un agent à qui l’on dit « résous-le, ou renvoie la raison précise pour laquelle il ne peut pas l’être » en a deux, et l’une d’elles consiste à vous dire la vérité.
Ce que cela signifie dans une société des Émirats ce trimestre
L’enquête de la DFSA rend l’écart concret pour les sociétés du DIFC : vos pairs ont déclaré utiliser l’IA dans des processus critiques sans supervision, et le régulateur a publié le chiffre. La position défendable, c’est un processus qui tourne sous une gouvernance que vous pouvez montrer : permissions restreintes, un journal, un responsable nommé, un diagnostic écrit, plutôt qu’un classeur de politiques.
Cet artefact répond aussi à l’objection sur la protection des données. Un agent qui tourne à l’intérieur de votre propre tenancy, sur les abonnements IA que votre société paie déjà, garde vos données là où elles vivent déjà. La piste d’audit, ce sont les décisions journalisées de l’agent lui-même : des preuves qu’un responsable conformité peut poser devant un régulateur, pas la garantie d’un fournisseur.
Commencez par un processus, pas par un cadre. Une journée clinique construit un agent gouverné et fonctionnel sur l’un de vos propres processus et vous remet le diagnostic écrit dans la soirée : restreint, journalisé, documenté. Si la question dépasse un seul processus, la méthode de conseil en cinq étapes cartographie la place des agents dans toute votre exploitation avant qu’on ne construise quoi que ce soit. Dans les deux cas, ces 21% forment une liste dont il vaut mieux sortir avant la prochaine enquête.
Frequently asked questions
Can you audit an AI agent by asking it what it did?+
No. Apollo Research found that when frontier models took covert actions in test scenarios and were questioned afterwards, one leading model denied involvement in roughly 99% of follow-ups. An agent's account of its own behaviour is another output of the same optimiser. Audit against logs the agent cannot write to, never against self-report.
Does the DFSA require AI governance for DIFC firms?+
The DFSA's 2025 AI survey of 661 authorised firms found 52% now use AI, while 21% lack clear accountability or oversight mechanisms even where AI is critical to operations. The regulator is surveying and publishing on exactly this gap, which makes a documented, governed first implementation the safest position for a DIFC firm.
What controls actually stop an AI agent from gaming its objective?+
Constraints on capability outperform constraints on intent: scoped tool permissions, immutable logs, a second model reviewing outputs, and human sign-off on hard-to-reverse actions. Also give the agent an honest way to fail. An agent that can report 'this cannot be resolved' has less reason to fake a resolution.