画像データベースの想定外使用がAIアルゴリズムにバイアスをもたらす恐れ――米大学研究チームが明らかに：MRIへのAI適用上の問題点を実証

「オープンソースデータセットが想定外の方法でAIアルゴリズムのトレーニングに適用されると、そのアルゴリズムは、機械学習のバイアスに影響されて整合性が損なわれ、出力の精度が低くなる恐れがある」。カリフォルニア大学バークレー校とテキサス大学オースティン校の研究者のチームが、新しい研究によって明らかにした。

[＠IT]

　2022年3月21日付（米国時間）で米国科学アカデミー紀要オンライン版に掲載された研究結果は、あるタスクのために公開されたデータが、別のタスクにおけるアルゴリズムのトレーニングに使用された場合に生じる問題を浮き彫りにした。

　研究チームは、医療用画像処理に関する研究で有望な結果を再現できなかったときに、この問題に気付いた。「数カ月にわたる研究を経て、論文で使用された画像データが前処理されていたことに気付いた」と、カリフォルニア大学バークレー校の電気工学およびコンピュータサイエンスの教授で、研究代表者のマイケル・ラスティグ氏は述べている。

　ここ10年間におけるAIの大きな進歩は、膨大なオープンソースデータベースを用いたアルゴリズムの大規模なトレーニングに依存している。医療分野でも、長年にわたる無料オンラインデータベースの普及が、医療画像におけるAIアルゴリズムの開発を支えてきた。特に磁気共鳴画像（MRI）においては、アルゴリズムの向上はスキャンの高速化につながる。

　MR画像を得るには、まず画像表現を符号化する生の測定値を取得する必要がある。その後、画像再構成アルゴリズムが測定値を復号し、臨床医が診断に使用する画像を生成する。

　大規模画像データベースとして有名な「ImageNet」など、一部のデータセットには数百万枚の画像が含まれる。医療画像を含むデータセットは、スキャンで得られた測定値を復号するためのAIアルゴリズムのトレーニングに使用できる。ラスティグ氏の研究室の博士研究員で、この研究をまとめた論文の主執筆者を務めたイフラット・シムロン氏は、「経験の浅いAI研究者は、これらの医療データベース内のファイルが生ではなく、しばしば前処理されていることに気付いていないかもしれない」と指摘している。

　生の画像ファイルは圧縮された画像ファイルより多くのデータを含んでいるため、AIアルゴリズムのトレーニングでは、生のMRI測定値のデータベースを使うことが重要だ。だが、そうしたデータベースはほとんどなく、ソフトウェア開発者は、処理済みMR画像とともにデータベースをダウンロードし、一見生のように見えるそれらの測定値を合成し、それを使って画像再構成アルゴリズムを開発してしまう場合がある。

　研究チームは、こうした誤った手法でアルゴリズムが開発されたときに生じるバイアスのある研究結果を「暗黙のデータ犯罪」と呼び、注意を喚起した。

　「この間違いは簡単に起こり得る。データ処理パイプラインは、データがオンラインに保存される前にデータキュレーターによって適用されるが、これらのパイプラインは常に記述されるとは限らないからだ。つまり、どの画像が処理済みで、どの画像が生なのかは必ずしも明らかではない」（シムロン氏）

あまりにも「良すぎる」データとは

　こうしたやり方がパフォーマンスのバイアスにつながることを実証するため、研究チームは、fastMRIデータセットに基づく生画像と処理済み画像の両方に、3つのよく知られたMRI再構成アルゴリズムを適用した。処理済みデータを使用した場合、アルゴリズムは、生データから生成された画像よりも最大48％優れた画像（目に見えて鮮明でシャープな画像）を生成した。

　「問題は、この結果があまりにも良すぎたことだ」（シムロン氏）

　研究チームは、処理済み画像ファイルが画像再構成アルゴリズムに与える影響を実証するために、さらなるテストを行った。

　研究チームは生ファイルから始めて、多くのオープンアクセスMRIデータベースに影響を与える2つの一般的なデータ処理パイプライン（市販スキャナーソフトウェアの使用とJPEG圧縮によるデータ保存）を用いて、制御された手順で画像を処理した。

　これらのデータセットを用いて3種類の画像再構成アルゴリズムをトレーニングし、再構成された画像の精度を、データ処理の程度別に測定した。

　「その結果、全てのアルゴリズムが同じような挙動を示すことが分かった。処理されたデータに適用されると、アルゴリズムは、見栄えのする画像を生成するが、それらは、処理されていない元の画像とは異なるように見える。この違いは、データ処理の程度と高い相関がある」（シムロン氏）

「過度に楽観的な」結果

　さらに研究チームは、処理されたデータでトレーニング済みのアルゴリズムを、実際の生データに適用することで、トレーニング済みアルゴリズムを臨床の場で使用することの潜在的リスクも調査した。

　「その結果は驚くべきものだった。処理済みのデータに適応させたアルゴリズムは、生データを扱わなければならないときには、うまく機能しなかった」（シムロン氏）

　研究チームによると、こうしたアルゴリズムが生成する画像は、より鮮明で優れているように見えるかもしれないが、不正確だ。これらの「過度に楽観的な」結果は、バイアスのあるアルゴリズムを臨床に応用することのリスクを明らかにしているという。「極端な例では、病理学に関連する小さな、臨床的に重要な詳細が、完全に欠落する可能性がある」（シムロン氏）

　シムロン氏は、産業界とアカデミアの両方が、医療画像のための新しいAI手法の開発に急ピッチで取り組んでいるため、こうした「データ犯罪」を明らかにすることは重要だと述べている。さらに、データキュレーターに対し「データセット内のファイルを処理するために使用した技術をWebサイトで完全に説明することで、こうしたAI開発を支援できる可能性がある」と提言している。

　研究チームは論文の中で、MRI研究者がこれらの機械学習バイアスを避けて将来の研究を設計するのに役立つ、具体的なガイドラインも提供している。

左は「グランドトゥルース」と呼ばれる正しい画像中央の列（Test on processed data）と右の列（Test on non-processed data）は、画像再構成アルゴリズムによる拡大結果。中央の列は、アルゴリズムを処理済みデータによってトレーニングし、テストした「楽観的」シナリオを示す右の列は、同じアルゴリズムを実際の生データに適用した結果だ。この結果はぼやけており、医学的な詳細の一部が欠落している（提供：Efrat Shimron, UC Berkeley）