検索
ニュース

Microsoft Research、LLMに与えるプロンプトを圧縮する「LLMLingua」を開発コスト削減とパフォーマンス向上を実現

Microsoft Researchは、大規模言語モデルに与えるプロンプトを圧縮する手法として「LLMLingua」を開発した。

Share
Tweet
LINE
Hatena

 Microsoft Researchは2023年12月7日(米国時間)、大規模言語モデル(LLM)に与えるプロンプトを圧縮する手法である「LLMLingua」と、長いコンテキストのシナリオに対応したLLMLinguaである「LongLLMLingua」を開発した。

 LLMは優れた能力から、さまざまな分野に応用されている。だが、CoT(Chain-of-Thought:思考の連鎖)、ICL(In-Context Learning:コンテキスト内学習)、RAG(Retrieval-Augmented Generation:検索拡張生成)といった技術の進歩により、LLMに与えるプロンプトはますます長くなり、時には数万トークンを超えることもある。

 プロンプトが長くなると「APIレスポンスのレイテンシの増加」「コンテキストウィンドウの制限の超過」「コンテキスト情報の損失」「高額なAPI課金」「Lost in the middle(関連情報をプロンプトの中央に配置すると精度が著しく落ちる)」などコスト増やパフォーマンス低下といった問題が発生する。

Copyright © ITmedia, Inc. All Rights Reserved.

ページトップに戻る