「AIエージェントが暴走した」責任まで負わされる時代、企業は「IDと権限」をどう扱うべきか：ID管理の前提が変わる（後）（1/2 ページ）

AIエージェントが自律的に判断して実行する処理について、その責任は誰が負うのか。AIエージェント特有のリスクを抑制するには、どのような統制が必要なのか。

[遠藤文康，＠IT]

　「AIエージェント」の活用範囲が広がることで今後業務の在り方は大きく変わる可能性があるが、そうした中で対応に迫られるのがAIエージェントがもたらす特有のリスクだ。前編「『AIエージェントには良心がない』――人間ともbotとも違う“特有の危うさ”とは」で触れた通り、AIエージェントには人間とも、サービスアカウントやbotなど従来型の非人間IDとも異なる性質がある。

　そのAIエージェントが自律的に判断し、実行した結果の責任は、誰が負うのか。誤った意思決定やデータ漏えいなどを引き起こす可能性もあるAIエージェントのリスクを、どう統制すればいいのか。前編同様、企業のID管理やIDセキュリティを支援するSailPointのフィールドCTO（最高技術責任者）で、企業のID利用動向に詳しいダナ・リード（Dana Reed）氏に聞いた。

「AIの独断」が実害を招いた例

――AIエージェントが自律的に判断して処理を実行した結果として問題が起きた場合、その責任は誰が負うべきなのでしょうか。

リード氏　私はよく「車」と「子ども」の例えを使う。車は所有者が自ら判断して使うものだが、子どもは自律的に行動するため、親は所有者ではなく監督者として見守る責任を負う。AIエージェントもそれに近い存在だ。それを前提にすると「AIエージェントの責任」は、基本的にはそのAIエージェントを監督する人がまずは負うべきだろう。

　未成年の子どもが問題を起こした場合、米国では親が監督責任を問われるケースがある。AIエージェントも同様に、重要なのはエージェント自身ではなく、それを監督していた人の責任だと考えるのが自然だ。

――実際に責任が問われた例はありますか。

SailPointのフィールドCTO、ダナ・リード氏

リード氏　航空会社の例がある。Webサイトで問い合わせてきた利用者に対し、この航空会社のAIは実際の規定にはない割引の適用方法を案内した。利用者はその情報に基づいて航空券を購入したが、航空会社は後に、AIが案内した内容は正式なポリシーではないとして払い戻しを拒否した。航空会社側は、AIが提供した情報について自社は責任を負わないという趣旨の主張をしたが、裁判所はこれを認めなかった。その責任は航空会社側に責任があるとして、損害賠償の支払いを命じたものだ。

　別の企業では、AIエージェントが利用する大規模言語モデル（LLM）のバージョンを更新したことが起因となった。一見すると単純なバージョンアップだったが、それがAIエージェントの実行できる範囲や振る舞いに影響を与え、それまで想定していなかったリスクを生むことになった。実際にこの企業ではプロンプトインジェクションによってAIエージェントの権限が悪用され、攻撃者が本来アクセスできないデータを取得する事態が発生した。その責任者とチーム全員が解雇されることになった。

　AIエージェントは導入して終わりではない。モデルの更新によって権限の使い方や振る舞いも変化するため、継続的に監視し、リスクを評価し続ける必要がある。AIエージェントに問題が起きた場合には、技術的な問題だけではなく、それを適切に管理・監督していたかどうかが問われる。

――AIの責任に帰することはできないということでしょうか。

リード氏　責任の観点において重要なのは、AIエージェント自身ではなく、人間側がそれを適切に監督・統制していたかどうかだ。AIエージェントの時代には、「所有者（Owner）」という考え方だけではなく、「監督責任者（Custodian）」という考え方がより重要になる。しかし多くの企業では、従業員がAIエージェントの能力やリスクを十分に理解しているとは言えない。

AIエージェントも「ID」、ただし「人間と同じ統制」では不十分

――AIエージェントの行動に対して人間側が責任を持つということを前提にすると、企業はAIエージェントをどのように管理、統制すべきなのでしょうか。

リード氏　本質的には「組織の中で何かを実行できる、あるいは何かにアクセスできる存在」がIDだ。AIエージェントもその一つとして捉え、ID管理の対象を広げる必要がある。

　一方で、多くの企業はAIエージェントのガバナンスも人間と同じ方法で実施すればいいと考えているが、それは正しくない。「AIエージェントと人間の違い」を前提にする必要がある。AIエージェントには良心も感情も感性もない。与えられた目標を可能な限り早く達成するために、本来想定していた行動から逸脱する可能性がある。そのため人間よりもはるかに厳格な統制が必要になる。

　人間とAIエージェントが同じアクセス権限を利用することはあるだろう。だが重要なのは、「その権限をどのような手続きで取得するのか」だ。人間が権限を取得するプロセスと、AIエージェントが権限を取得するプロセスは異なるべきだ。