医療における生成AI――責任ある展開をどのようにサポートするか：Gartner Insights Pickup（329）

医療業界では、生成AIへの関心が急速に高まり、導入も急ピッチで進んでいる。だが、規制が追い付いていないため、医療機関がガードレールを設け、生成AIが責任ある方法で使われるようにすることが重要だ。

[Sharon Hakkennes, Gartner]

ガートナーの米国本社発のオフィシャルサイト「Insights」などのグローバルコンテンツから、＠IT編集部が独自の視点で“読むべき記事”をピックアップして翻訳。グローバルのITトレンドを先取りし「今、何が起きているのか、起きようとしているのか」を展望する。

　医療業界では、生成AIへの関心が急速に高まり、導入も急ピッチで進んでいる。大規模言語モデル（LLM）に基づく「ChatGPT」のような生成AIが、患者エンゲージメントや医療研究、臨床医の体験、ワークフローの最適化などの分野に変革をもたらせることが主な要因だ。

　一般的に、医療へのAIの応用は、患者ケアと臨床結果に重大な影響を及ぼす。そのため、安全性や有効性、公平性、ユーザビリティに関する高い基準を満たさなければならない。生成AIの観点から見ると、主にプライバシー、バイアス（偏り）、正確さ、説明可能性、最新性に起因する大きな制約やリスクがある。

　だが、規制が追い付いていないため、医療機関がガードレールを設け、生成AIが責任ある方法で使われるようにすることが重要だ。責任ある方法で開発、使われるAI（以下、責任あるAI）により、AIは社会やAI自体に対する脅威ではなく、前向きな力になる。責任あるAIは、AIを導入する際にビジネス上および倫理上の適切な選択をするために考慮すべきさまざまな側面をカバーする。これらの側面には、ビジネス価値や社会的価値、リスク、信頼、透明性、説明責任などがあり、組織は多くの場合、これらについてそれぞれが独自に取り組んでいる。

価値を生む可能性

　現在、生成AIの可能性は患者ケアや研究、臨床教育、ワークフロー最適化などに広がっている。例えば、生成AIは、臨床記録や臨床関連の各種書状の作成、患者からの問い合わせへの対応、患者情報や教育資料の作成など、臨床医の事務作業の効率を高めるために使用される可能性がある。また、臨床医がより簡単に患者情報を検索し、患者の健康情報の要約を提供できるようにするために、使用される可能性もある。

　患者とやりとりし、トリアージやケア方針の策定、事務的な質問（請求など）への回答などの業務をサポートする、チャットbotや会話アシスタントの改良に使われることも考えられる。鑑別診断や治療オプションに固有の質問に答えることで、臨床上の意思決定も支援できるかもしれない。

　さらに、生成AIは、電子カルテ内の大量の非構造化テキストをさまざまな目的で分類するために使われる可能性もある。こうした目的には、非構造化テキストを研究やデータ分析に利用できるようにすることや、臨床試験のために患者の識別を可能にすること、請求のための臨床コーディングを容易にすることなどが挙げられる。また、患者のフィードバックやレビューのセンチメント分析（感情分析）にも使われるかもしれない。

ガバナンスの基盤

　こうした用途展開を可能にするには、生成AIの責任あるデプロイ（展開）を保証する適切なガバナンスフレームワークが不可欠だ。データやアルゴリズム、そして人にはバイアスがかかる場合がある。倫理的な使用とベストプラクティスをガイドするポリシーと手続きがないと、重大な臨床、財務、風評リスクにつながることがある。

　展開した生成AIソリューションの使い方やパフォーマンスをモニタリングするためのプロトコルと、問題が特定された場合に適切に対応するための行動計画を整備する必要がある。

組織としての準備

　生成AIの展開における重要な要素は、責任ある使用をサポートする方法でエンドユーザーがAIを適用できるように、適切な知識とスキルを持たせることだ。生成AIモデルは誤りを犯しやすく、バイアスや不適切な推奨、事実誤認、出力の偽造などのリスクがあるからだ。生成AIの導入に伴い、人間の対話が減少した場合の影響については、現段階では不明なため、注意深くモニタリングする必要がある。

　さらに、生成AIモデルの洗練度と流ちょうな言葉遣いから「生成AIモデルは理解力や専門ノウハウを持っている」とユーザーが錯覚する場合もある。そうなると、自動化バイアスのリスクが増大する。自動化された判断を優先し、重要な情報を見落としたり、システムが正しくなくても、自分の専門的判断を否定したりするようになるからだ。これは臨床判断に悪影響を及ぼすことが実証されている。

生成AIブームを超えて

　生成AIの責任ある展開のためには、組織の戦略的目標に沿った価値提案をし、生成AIの展開を、目指す成果に対する影響によって測定し、それを潜在的な悪影響やリスクと比較検討する必要がある。

　まず、幅広いステークホルダーの代表を集めたアイデアワークショップを行い、生成AIが組織の戦略目標をどのようにサポートできるかを議論して見極めるとよい。

　さらに、ユースケースをビジネス価値と実現可能性によって評価し、優先順位を付ける。ビジネス価値には、患者の予後や体験、効率性の向上、収益などが含まれ、実現可能性については、技術的な実現可能性、変更管理、規制などの観点から評価する。ビジネス価値に直結するユースケースや、生成AIが組織全体にもたらす戦略上の長期的な可能性を示すユースケースを優先しなければならない。

　注意すべきは、生成AIをもてはやす現在の風潮に流されないことだ。生成AIアプリケーションの長期的な財務コストは、今のところ不透明だ。そのため、実現されるビジネス価値や臨床価値を明確に理解する必要がある。

出典：Generative AI in health care - how to support responsible deployment（Gartner）

※この記事は、2023年8月に執筆されたものです。

筆者　Sharon Hakkennes

VP Analyst at Gartner