公共機関での生成AIの使用に向けてIT責任者が考慮すべきこと：Gartner Insights Pickup（359）

公共の政策の多くは生成AIの使用に関して透明性を求めている。公共機関のCIO（最高情報責任者）は、生成AIによるリスクがあることを理解しなければならない。

» 2024年07月12日 05時00分公開

[Ben Kaner, Gartner]

この記事は会員限定です。会員登録（無料）すると全てご覧いただけます。

ガートナーの米国本社発のオフィシャルサイト「Insights」などのグローバルコンテンツから、＠IT編集部が独自の視点で“読むべき記事”をピックアップして翻訳。グローバルのITトレンドを先取りし「今、何が起きているのか、起きようとしているのか」を展望する。

　「GPT-4」や「Gemini」のような大規模言語モデル（LLM）を使用する生成AIアプリケーション（AIチャットbot「ChatGPT」など）は、その技術、機会、リスクを理解したいと考える公共機関幹部の間で、普通に話題に上るようになっている。

　生成AIアプリケーションは、公共機関の内部向けおよび市民向けの幅広いユースケースで、価値を生み出すのに利用できる。だが、生成AIアプリケーションを通じて価値を提供するためには、それらが地域社会の人々と公共機関職員の信頼を獲得し、維持されることだ。そのためには、強力なガバナンスとリスク管理を実行するとともに、この技術に内在する限界を包括的に理解し、管理する必要がある。

公共サービスの提供と運営を大きく改善できる可能性

　適切にトレーニングされた生成AIシステムを他の自動化ツールとともに導入すれば、公共サービスの提供と運営を大幅に改善できる可能性がある。生成AIが役立つ分野には以下のようなものがある。

テキスト生成：若者や社会的に取り残された人々、共通語以外の言語を話す人々など異なる対象者に向けてさまざまなタイプのコミュニケーションを構成する能力は、公共サービスにおけるパーソナライゼーションを向上させる機会をもたらす
テキスト要約：長い、あるいは複雑な関連事例を要約し、ケースマネジャーの意思決定の改善を支援する。同様に、複雑な、あるいは難解な文書を要約し、一般市民や政策立案者の生産性向上を手助けする
テキスト分類：LLMは、大量の非構造化テキストの分類と照合を可能にし、意思決定インテリジェンスや政策立案を支援するために使われるデータの質を向上させる
感情抽出：LLMによるテキスト分類は、市民のエンゲージメントやコミュニケーションの感情分析にも利用できる

現在の限界とリスク

　公共の政策の多くは、生成AIの使用に関して透明性を求めているため、公共機関のCIO（最高情報責任者）は、生成AIには、主に以下の5つの要因によるリスクがあることを理解しなければならない。

正確性：LLMは認知モデルではなく、統計モデルだ。応答はプロンプトに大きく左右され、多くの場合、理路整然とした形で返されるため、重大なエラーが発見しにくいことがある。一部のLLMはインターネットや組織のデータにアクセスすることで、最新の結果を提供できるが、新たな更新によってモデルの出力が予測不能に変化する場合がある。これでは、時間の経過とともに応答が大きく食い違ってくるかもしれない
バイアス：LLMのトレーニングに使われるデータが不完全だったり、質が低かったり、固有のバイアス（偏り）を含んでいたりする場合がある。これらのバイアスはモデルの出力の正確性を損なう
著作権：生成AIは著作権を侵害する恐れがある。LLMのトレーニングに使われるデータの著作権や、LLMの出力の使用における著作権の法的状態は、ほとんどの法域においてまだ不明確だからだ
プライバシー：不特定多数が直接利用できる生成AIシステムは、安全ではないことが多い。人々の入力を自らのさらなるトレーニングに使用する可能性があるからだ。そのため、こうした生成AIシステムは、プライバシーに関する法的義務や地域社会の期待を満たしそうもない。公共機関のCIOは、機密情報や個人情報が流出しないよう早急に対策を講じる必要がある
機密：直接的な情報だけでなく、生成AIシステムに提出された情報に関する、また応答に関するメタデータも、機密データを危険にさらすことがある。公共セクターにおける機密データには、防衛や重要な国家インフラに関するデータが含まれる。政策上、こうしたカテゴリーのデータには特に注意が必要だ

公共機関におけるLLMの活用ロードマップの確立

　基本的に、生成AIは大量のデータを使用し、統計に基づいてプロンプトに対して有効な、または効果的な可能性が高い応答のモデルを作成する。公共機関では、こうしたモデルは幅広い公共データを必要とし、その多くは機密データの可能性がある。そのため、機密データの管理を維持し、不特定多数からの不適切なアクセスだけでなく、内部からの不適切なアクセスも防止することが重要だ。機密データの管理を維持するには、より制約の多いモデルやアーキテクチャが必要になる。

　CIOは、機密情報の流出リスクを最小限に抑えるポリシーを推進すべきだ。このポリシーでは、影響の少ない実験を除いて、オープン環境の使用を制限する一方で、技術の能力を慎重に調べ、残余リスクよりも大きな価値を提供するユースケースを特定できるようにしなければならない。CIOは、組織全体にわたってセキュリティおよびコンプライアンス対策が講じられていて、データが顧客のインフラに保存されるサービスを、そうでないサービスよりも優先する必要がある。

　システムが成熟し、常に正確な結果が得られるようになるまでは、使用ガイドラインによって人間が出力をレビューし、不正確な点や誤った情報、バイアスの発見に努めるよう義務付けることが重要だ。さらに、行政に対するフラッディングやディープフェイク攻撃など、LLMや生成機能を悪用した悪意ある行動が公共プロセスにもたらすリスクを軽減する方法を文書化し、その実行計画を作成する必要がある。

出典：The Potential Impact of Generative AI on Government CIOs（Gartner）

※この記事は、2024年5月に執筆されたものです。