「説明可能なAI」に欠陥、少数派の扱いが不公平になるとMITが指摘する根拠は？：結果が誰に影響を与えるのかを考えなければならない

マサチューセッツ工科大学（MIT）の研究チームは、機械学習モデルの予測を信頼するかどうかをユーザーが判断するためによく使われる「説明モデル」には問題があることを示した。少数派を公平に扱えないという問題だ。なぜこのようなことが起きるのだろうか。

[＠IT]

　マサチューセッツ工科大学（MIT）は2022年6月1日（米国時間）、機械学習の予測を信頼するかどうか、ユーザーが判断するために用いる「説明モデル」に問題があると発表した。

　機械学習の対象データとなる人々のうち、社会的に不利な立場にある人々で構成されるサブグループについては、精度が低くなる可能性があるという。

　機械学習モデルは、意思決定支援に利用されることがある。例えば、「どのロースクール志願者が、司法試験に合格する可能性が高いか」をモデルが予測し、ロースクールの入試担当者がその予測結果を、（ロースクールの合格実績を高めるために）どの学生を合格させるかといった判断に役立てる場合がある。

機械学習モデルが複雑すぎて理解できない

　こうした機械学習モデルは多くの場合、数百万ものパラメーターを持つ。このため、モデルがどのように予測するかについては、機械学習の利用経験がない入試担当者はもとより、研究者であっても、完全に理解することはほぼ不可能だ。

　そこで研究者は、大規模なモデルを模倣した説明モデルを採用し、予測の単純な近似を作成することがある。なぜなら近似したモデルははるかに理解しやすく、ユーザーにとって、機械学習モデルによる予測を信頼するかどうかを判断するのに役立つからだ。

どうすれば予測モデルの品質を高められるのか

　MITの研究チームは、広く使われている幾つかの説明モデルの公平性を調査した。その結果、これらの説明モデルが出力する近似の品質は、対象者のサブグループによって大きくばらつき、マイノリティーと位置付けられるサブグループでは、品質が著しく低下する場合が多いことを発見した。