Chain-of-Thought（CoT：思考の連鎖）Prompting（プロンプティング）とは？：AI・機械学習の用語辞典

用語「思考の連鎖プロンプティング」について説明。問題を解くまでの一連の手順をプロンプトに含めるテクニックを指す。人間の思考プロセスでは、算術などの問題を途中の手順（計算過程）に分解して段階的に解いていくことが一般的だが、それを模倣した、プロンプティングのテクニック。

[一色政彦，デジタルアドバンテージ]

用語解説

　最近の自然言語処理において、言語モデルの思考の連鎖（CoT：Chain-of-Thought）プロンプティング（Prompting）とは、問題を解くまでの一連の手順をプロンプト（＝言語モデルに入力するテキスト）に含めるテクニックのことである。例えば図1の下にある「標準的なプロンプティング」では結果の例文だけをデモンストレーションとして提示しているのに対し、図1の上にある「CoTプロンプティング」では途中の計算過程（推論手順の流れ）の例文を提示している。

　通常の人間の思考では、例えば算術の問題（例：「2個のリンゴと3個のリンゴの合計は？」）を解く際、いきなり計算結果（「答えは5個。」）が求まるのではなく、問題を途中の手順（計算過程）に分解して段階的に解いていく（例えば「2個と3個を足すので、2＋3＝5を計算して、答えは5個。」）のが一般的である。このような「途中の段階的な思考プロセス」を模倣して、その途中の推論（reasoning）手順の流れをフューショット学習（Few-shot Learning）の例文／見本として含める、というのが基本的なCoTプロンプティングだ。

図1　CoT（思考の連鎖）プロンプティングのイメージ
参考論文“Chain-of-Thought Prompting Elicits Reasoning in Large Language Models”（Jason Wei, et al. @ Google., arXiv, 2022.）のFigure 1

　なお、本稿で説明している「CoTプロンプティング」は主に、Googleが2022年1月に公開した論文『Chain-of-Thought Prompting Elicits Reasoning in Large Language Models』（Googleの公式ブログ記事）に基づいた内容となっている。この論文では、CoTプロンプティングというテクニックが算術や常識などの推論タスクにおいて言語モデルの推論能力を向上させることが報告されている。

　CoTプロンプティングは、方法（method）を示す用語として単に思考の連鎖（CoT：Chain-of-Thought）と呼ばれることも多い。CoTというテクニックは、フューショット学習だけでなく、ゼロショット学習（Zero-shot Learning）にも応用できることが、論文『Large Language Models are Zero-Shot Reasoners』で示されている。具体的には、（途中の手順そのものではなく）「ステップ・バイ・ステップで考えてみましょう」というプロンプトを書く、というテクニックである。これは、例文／見本を示さないゼロショット学習のままでありながらCoTの方法論も取り入れたテクニックなので、Zero-shot-CoTと呼ばれている。またフューショット学習においては、CoTを使っていない通常の「フューショット学習（Few-shot）」（例えば図1の下にある「標準的なプロンプティング」）と区別するために、「CoTを使ったフューショット学習」（例えば図1の上にある「CoTプロンプティング」）はFew-shot-CoTと呼ばれることがある（参考：「思考の連鎖（Chain of Thought）でChatGPTからよりよい応答を引き出そう：ChatGPT入門」）。