Un score KYC, un signalement de fraude, un CV rejeté : chacun est un jugement daté et durable sur une personne ou une société nommée. Le raisonnement qui l'a produit s'évapore en quelques mois. La trace, elle, dure des années, et un jour quelqu'un investi d'une autorité demandera qui l'a signée.
This article was translated from the English original. Translations are machine-assisted and reviewed on a rolling basis.
Le système de surveillance des transactions d’une banque de taille moyenne produit quelques milliers de jugements contestables avant midi. Chaque correspondance KYC dans la presse défavorable, chaque signalement de propension à la fraude, chaque score de risque fournisseur et chaque rejet de CV est un verdict daté et durable sur une personne ou une société nommée. Avec 52% des entreprises du DIFC qui utilisent désormais l’IA, cette chaîne de production tourne déjà dans tout le quartier d’affaires.
Voici l’asymétrie qui devrait inquiéter un responsable conformité davantage que la précision du modèle : le raisonnement du modèle est éphémère, sa sortie est permanente. Dans trois ans, lors d’un litige ou d’un contrôle prudentiel, c’est le score qui fait preuve. Tout ce qui le rendrait défendable a disparu.
L’artefact survit à l’argument qui l’a produit
Un classificateur qui a noté un fournisseur à haut risque en 2024 laisse derrière lui le score. Il ne laisse ni la version du modèle, ni le prompt, ni le seuil, ni la distribution d’entraînement, ni l’analyste qui a fixé la règle. Le jugement qui a produit l’entrée s’évapore en quelques mois. L’entrée, elle, dure des années, et se lit, pour un public hostile, comme un verdict rendu par votre entreprise.
La plupart des systèmes de contenu et de risque en entreprise enregistrent le résultat et jettent le raisonnement. C’était une décision de stockage, prise le plus souvent par la personne qui a configuré le pipeline. C’est aujourd’hui ce qui sépare un dossier défendable d’un dossier indéfendable.
Ce n’est pas une décision de justice qui a mis fin à GARM, c’est le coût de la procédure
L’étude de cas la plus nette est commerciale et récente. GARM, l’organisme de sécurité des marques du secteur publicitaire, produisait des taxonomies partagées des catégories de contenu que les annonceurs voulaient éviter. Entièrement volontaire, entièrement commercial. X Corp a porté plainte en août 2024, et GARM a cessé ses activités en quelques jours. Sa fédération de tutelle a dit sans détour qu’elle n’avait pas les moyens de se défendre au contentieux.
Aucun tribunal n’a jamais jugé la taxonomie fautive. L’organisation a été tuée par le coût de la phase de communication des pièces.
Lisez cela attentivement, car c’est le vrai modèle de risque. Vous n’avez pas besoin de perdre. Il suffit que vous ne puissiez pas payer la reconstitution. Si votre équipe est incapable de produire, sur demande, la version du modèle, le seuil, l’entrée, la sortie et le responsable nommé de la règle pour une décision prise il y a 30 mois, une injonction judiciaire devient une impossibilité opérationnelle plutôt qu’un problème juridique.
Personne ne signe une probabilité
La plupart des programmes de gouvernance de l’IA investissent lourdement dans l’explicabilité : attributions de variables, cartes d’attention, fiches de modèle. Ils n’investissent presque rien dans l’attribution de l’autorité. C’est l’inverse qu’il faut faire. Aucune enquête n’a jamais été satisfaite par une explication de la façon dont un modèle est arrivé à 0.83. Les enquêtes veulent un nom.
La correction est concrète et peu coûteuse à mettre en place dès maintenant. Tout jugement issu de l’IA qui s’attache à une personne ou une société nommée reçoit trois choses stockées à côté de la valeur : la version de la règle qui a autorisé la décision, le rôle humain responsable de cette règle, et le raisonnement écrit au moment des faits. Stocké une fois, de façon immuable, à l’instant de la décision. Un raisonnement régénéré est un nouveau jugement portant une ancienne date.
C’est la même discipline de stockage qui sépare un agent auditable d’un agent sans comptes à rendre, appliquée aux classifications plutôt qu’aux actions.
Séparez le classificateur de la conséquence
Pour les entreprises présentes dans plusieurs juridictions, le même classificateur peut être une obligation aux yeux d’un régulateur et un risque aux yeux d’un autre. Le Digital Services Act de l’UE oblige les grandes plateformes à construire des classificateurs d’atténuation des risques, avec des sanctions allant jusqu’à 6% du chiffre d’affaires mondial. D’autres juridictions considèrent le filtrage agressif comme étant lui-même l’exposition. Une règle mondiale unique ne peut pas satisfaire les deux.
Les entreprises qui s’en sortent bien ont cessé de chercher le réglage neutre et ont fait quelque chose de plus terne : elles ont séparé le classificateur de la conséquence. Le modèle peut noter n’importe quoi. Ce que le score déclenche — bloquer, signaler pour examen, ou simplement annoter — est un artefact de règle propre à une juridiction, avec son propre responsable, son journal des modifications et sa revue juridique.
Cette séparation répond aussi à la question qui est réellement posée lors d’une audition. Non pas « pourquoi votre IA a-t-elle pensé cela ? » mais « qui a décidé de ce qui se passe ensuite, et sous l’autorité de qui ? ».
Le cadre de décision pour une entreprise aux Émirats
Si vos systèmes d’IA produisent des jugements par entité qui persistent (scores, signalements, classifications, rejets) et que vous ne pouvez pas reconstituer la traçabilité complète d’une décision datant de 24 mois, arrêtez d’élargir la couverture et corrigez d’abord la conservation. L’exposition croît avec le volume. Chaque mois d’expansion en achète davantage.
Si vos jugements sont éphémères ou agrégés, par exemple des prévisions, de la planification de capacité ou du routage sans trace durable par personne, laissez de côté le lourd dispositif de traçabilité et dépensez plutôt sur la séparation classificateur-conséquence. Et lorsque vous commandez un nouveau système de classification, la question à poser au fournisseur n’est pas la précision. C’est : quand quelqu’un investi d’une autorité demande qui a autorisé cette décision précise, que renvoie votre système ?
La traçabilité est une décision d’architecture, et elle coûte le moins cher avant que le volume n’arrive. La méthode de conseil en cinq étapes cartographie lesquels de vos jugements issus de l’IA persistent, ce que chacun doit stocker pour être défendable, et qui détient la règle qui le sous-tend, avant qu’un régulateur ou un plaignant ne pose la question le premier. Pour une première mise en œuvre gouvernée sur un seul processus, une journée clinique intègre la conservation des traces dès le départ.
Frequently asked questions
What should be stored alongside every AI-derived decision?+
Three things, written once at decision time: the policy version that authorised the decision, the human role accountable for that policy, and the reasoning as it stood at the moment of the call. Reasoning regenerated later is a new judgement wearing an old date, and it will not survive questioning.
Why did GARM shut down, and what does it teach AI governance teams?+
GARM, the advertising industry's brand-safety body, discontinued operations within days of being sued by X in August 2024. Its parent federation said plainly that it lacked the resources to fight the case. No court ruled its taxonomy wrong; the cost of the discovery process ended it. The lesson: you do not need to lose a case to be destroyed by one, you only need to be unable to afford the reconstruction of your own decisions.
Can regenerated AI explanations be used as audit evidence?+
No. A regenerated explanation is produced by a different model state, under a different prompt, at a different time from the decision it claims to explain. Auditors and courts want the contemporaneous record: what was known, decided, and authorised at the moment of the call.