ヒューマン・イン・ザ・ループ（HITL ：Human-in-the-Loop）とは？：AI・機械学習の用語辞典

用語「ヒューマン・イン・ザ・ループ」について説明。機械学習においては、データ収集と前処理〜モデルの訓練〜運用監視〜継続的なアップデートというライフサイクルの中に人間との相互作用、つまり人間からのフィードバックが含まれることを指す。人間参加型のAIとも呼ばれる。

[一色政彦，デジタルアドバンテージ]

連載目次

用語解説

　工学やコンピュータ科学などさまざまな分野で広く用いられている用語のヒューマン・イン・ザ・ループ（HITL：Human-in-the-Loop）とは、「人間がループ（システム）の中に組み込まれている」という言葉通りに、システム（ループ）の中に人間との相互作用（interaction）が含まれることを指す。例えばフライトシミュレーターやドライビングシミュレーターなどの物理シミュレーションに使われるモデル（システム）に、人間の操作者が含まれることなどである。機械が苦手な部分（意思決定や判断、制御など）を人間が補うことで、システムが成り立つ。

　AI／機械学習の分野でもHITLという用語が、近年よく使われるようになってきた。機械学習におけるヒューマン・イン・ザ・ループ（HITL：Human-in-the-Loop）とは、データ収集と前処理〜機械学習モデルの訓練〜訓練済みモデルの運用監視〜継続的なアップデートという一連の機械学習プロセス／ライフサイクル（ループ）の中に人間との相互作用（interaction）、つまり人間からのフィードバック（feedback）が含まれることを指す（図1）。AI／機械学習モデルが苦手な部分（意思決定や判断、制御など）を人間が補うことで、AI／機械学習ライフサイクルが成り立つ。人間参加型のAIとも呼ばれる。

図1　ヒューマン・イン・ザ・ループのイメージ

　機械学習の分野では、HITLは機械学習ライフサイクルのさまざまな段階で適用可能である。

　例としてモデルの訓練時には、モデルの性能を「人間」が確認、評価して、人間の知恵によるフィードバックを機械学習ライフサイクルにもたらすことが考えられる。例えば強化学習でより適切な報酬関数を作成するなどのフィードバックだ。

　またモデルの運用時には、モデルの性能を「人間」が監視している中で問題が発見された場合に、人間の意思決定によるフィードバックを機械学習ライフサイクルにもたらすことが考えられる。例えばチャットボットの発言内容を常に監視しておき、人種差別的な問題発言をするようになった場合には運用中のチャットボットをいったん止めて差別発言をしないようにアップデートするなどのフィードバックだ。

　このようにHITLでは、人間との相互作用、つまり人間による継続的なフィードバック（のループ）を機械学習ライフサイクルのループの中に含めることによって、長期的な観点でより良い結果を得ることを目指す。

　関連として、人間をループの中に含めない完全自動運転などは、HITLと対比させて、ヒューマン・アウト・オブ・ザ・ループ（HOTL：Human-out-of-the-Loop）と呼ばれることもある。

「AI・機械学習の用語辞典」