事前学習(Pre-training)と下流タスク(Downstream Tasks)とは?AI・機械学習の用語辞典

用語「事前学習」「下流タスク」について説明。訓練の工程を2段階に分けて、最初に機械学習モデルを訓練することを「事前学習」、次にその事前学習済みモデルを新しいタスクに向けて転移学習/ファインチューニングすることを「下流タスク」と呼ぶ。自己教師あり学習でも同様の用語が使われる。

» 2023年02月06日 05時00分 公開
[一色政彦デジタルアドバンテージ]
「AI・機械学習の用語辞典」のインデックス

連載目次

用語解説

 機械学習(厳密にはニューラルネットワーク)における転移学習ファインチューニングでは、基本的に訓練の工程を上流(Upstream)と下流(Downstream)の2段階に分ける。まず上流の工程で機械学習モデルを訓練することを事前学習Pre-training)と呼び、次に下流の工程でその事前学習済みモデルを新しいタスク向けて転移学習/ファインチューニングすることを下流タスクDownstream Tasks)と呼ぶ(図1)。

図1 「事前学習」と「下流タスク」のイメージ 図1 「事前学習」と「下流タスク」のイメージ

 自己教師あり学習も同様の2段階の訓練工程を踏むため、「事前学習」と「下流タスク」という同じ呼び方で説明される。が、より厳密には自己教師あり学習の事前学習はプレテキストタスクPretext tasks)と呼ばれる。下流タスクについてはターゲットタスクTarget tasks)と呼ばれるが、そのまま「下流タスク」もしくは「ファインチューニング」と表現されることも多いようである。

「AI・機械学習の用語辞典」のインデックス

AI・機械学習の用語辞典

Copyright© Digital Advantage Corp. All Rights Reserved.

RSSについて

アイティメディアIDについて

メールマガジン登録

@ITのメールマガジンは、 もちろん、すべて無料です。ぜひメールマガジンをご購読ください。