KYCスコア、不正の疑いフラグ、履歴書の不採用。どれも、名前のある個人や企業に対する、日付入りで消えない判断です。それを生んだ推論は数か月で消えます。記録は何年も残り、いつか権限を持つ誰かが「これは誰が承認したのか」と尋ねます。
This article was translated from the English original. Translations are machine-assisted and reviewed on a rolling basis.
中規模銀行の取引モニタリングシステムは、昼食前までに数千件の異議申し立ての余地がある判断を生み出します。KYCの否定的報道との一致、不正傾向のフラグ、サプライヤーのリスクスコア、履歴書の不採用。そのどれもが、名前のある個人や企業に対する、日付入りで消えない判定です。DIFCの企業の52%がすでにAIを使っている以上、この生産ラインは地区全体ですでに動いています。
コンプライアンス責任者がモデルの精度以上に懸念すべき非対称性が、ここにあります。モデルの推論は一時的で、その出力は永続的だということです。3年後、紛争や当局の検査の場では、そのスコアが証拠になります。それを弁明可能にしてくれるはずのものは、すべて失われています。
成果物は、それを生んだ議論よりも長く残る
2024年にあるベンダーを高リスクと採点した分類器が残すのは、スコアだけです。モデルのバージョンも、プロンプトも、しきい値も、学習データの分布も、方針を決めたアナリストも残りません。その記録を生んだ判断は数か月で消えます。記録そのものは何年も残り、敵対的な相手にはあなたの会社が下した判決のように読まれます。
企業の文書系システムやリスク系システムの多くは、結果を記録し、推論を捨てます。それは保存設計の判断であり、たいていはパイプラインを構成した人が決めたものです。そして今では、それが弁明できる記録とできない記録を分ける境目になっています。
GARMを終わらせたのは判決ではなく、証拠開示の費用だった
最も明快な事例は、商業的で、しかも最近のものです。広告業界のブランドセーフティ団体であるGARMは、広告主が避けたいコンテンツ分類の共通タクソノミーを作っていました。完全に任意で、完全に商業的な取り組みです。X Corpが2024年8月に提訴し、GARMは数日のうちに活動を停止しました。母体の連合は、訴訟を戦うだけの資力がないとはっきり述べました。
そのタクソノミーが誤りだと裁判所が判断したことは一度もありません。この組織を終わらせたのは、証拠開示手続の費用でした。
ここは丁寧に読んでください。これが実際のリスクモデルだからです。負ける必要はありません。再構成の費用を負担できないだけで十分なのです。30か月前に下された一つの判断について、モデルのバージョン、しきい値、入力、出力、方針の責任者名を、要求されてすぐに出せないのであれば、召喚状は法律問題ではなく運用上の不可能事になります。
誰も確率にサインはしない
AIガバナンスの取り組みの多くは、説明可能性に多額を投じます。特徴量の寄与度、アテンションマップ、モデルカード。一方で、権限の帰属にはほとんど投資しません。順序が逆です。モデルがどうやって0.83にたどり着いたかの説明で満足した調査は、これまで一つもありません。調査が求めるのは名前です。
対策は具体的で、今すぐ導入しても安価です。名前のある個人や企業に紐づくAI由来の判断には、値と並べて三つを保存します。その判断を認可した方針のバージョン、その方針に責任を負う人間の役割、そして当時の書かれた推論です。判断を下したその瞬間に、一度だけ、改変できない形で保存します。後から生成し直した推論は、古い日付をまとった新しい判断にすぎません。
これは監査可能なエージェントと、責任を負わないエージェントを分けるのと同じ保存の規律を、行動ではなく分類に当てはめたものです。
分類器と、その帰結を切り離す
複数の法域で事業を行う企業にとって、同じ分類器がある規制当局の目には義務に映り、別の当局の目には責任リスクに映ることがあります。EUのデジタルサービス法は、大規模プラットフォームにリスク低減のための分類器の構築を義務づけ、違反には世界売上の6%までの制裁金を科します。他方で、積極的なフィルタリングそのものをリスクと見る法域もあります。単一のグローバル方針で両方を満たすことはできません。
これをうまく切り抜けている企業は、中立的な設定を探すのをやめ、もっと地味なことをしました。分類器と、その帰結を切り離したのです。モデルは何を採点しても構いません。そのスコアが何を引き起こすか、つまり遮断するのか、レビューに回すのか、注記を付けるだけなのかは、法域ごとの方針という成果物であり、それぞれに責任者と変更履歴と法務レビューがあります。
この分離は、聴聞の場で実際に問われる質問にも答えます。「なぜあなたのAIはそう考えたのか」ではなく、「次に何が起きるかを誰が決め、誰の権限で決めたのか」です。
UAEの企業にとっての判断の枠組み
AIシステムが個別の対象ごとに残る判断（スコア、フラグ、分類、不採用）を生んでいて、24か月前の案件について判断の来歴を完全に再構成できないのであれば、適用範囲を広げるのをやめ、まず保存の仕組みを直してください。露出は量とともに積み上がります。拡大した月ごとに、その分だけ買い足していることになります。
判断が一時的なもの、あるいは集計されたもの、たとえば需要予測、要員計画、個人単位の記録が残らないルーティングであれば、重い来歴管理の仕組みは省き、その分を分類器と帰結の分離に使ってください。そして新しい分類システムを発注するとき、ベンダーに問うべきは精度ではありません。「権限を持つ誰かが、この特定の判断を誰が承認したのかと尋ねたとき、あなたのシステムは何を返しますか」です。
来歴の管理はアーキテクチャの判断であり、量が増える前に手を打つのが最も安上がりです。5ステップのコンサルティング手法は、AI由来の判断のうちどれが残るのか、弁明可能であるために各々が何を保存すべきか、その背後の方針を誰が持つのかを、規制当局や請求者に先に尋ねられる前に整理します。単一の業務での統制された最初の実装には、クリニックデーが最初から記録の仕組みを組み込みます。
Frequently asked questions
What should be stored alongside every AI-derived decision?+
Three things, written once at decision time: the policy version that authorised the decision, the human role accountable for that policy, and the reasoning as it stood at the moment of the call. Reasoning regenerated later is a new judgement wearing an old date, and it will not survive questioning.
Why did GARM shut down, and what does it teach AI governance teams?+
GARM, the advertising industry's brand-safety body, discontinued operations within days of being sued by X in August 2024. Its parent federation said plainly that it lacked the resources to fight the case. No court ruled its taxonomy wrong; the cost of the discovery process ended it. The lesson: you do not need to lose a case to be destroyed by one, you only need to be unable to afford the reconstruction of your own decisions.
Can regenerated AI explanations be used as audit evidence?+
No. A regenerated explanation is produced by a different model state, under a different prompt, at a different time from the decision it claims to explain. Auditors and courts want the contemporaneous record: what was known, decided, and authorised at the moment of the call.