Microsoft Research、LLMに与えるプロンプトを圧縮する「LLMLingua」を開発：コスト削減とパフォーマンス向上を実現

Microsoft Researchは、大規模言語モデルに与えるプロンプトを圧縮する手法として「LLMLingua」を開発した。

[＠IT]

　Microsoft Researchは2023年12月7日（米国時間）、大規模言語モデル（LLM）に与えるプロンプトを圧縮する手法である「LLMLingua」と、長いコンテキストのシナリオに対応したLLMLinguaである「LongLLMLingua」を開発した。

　LLMは優れた能力から、さまざまな分野に応用されている。だが、CoT（Chain-of-Thought：思考の連鎖）、ICL（In-Context Learning：コンテキスト内学習）、RAG（Retrieval-Augmented Generation：検索拡張生成）といった技術の進歩により、LLMに与えるプロンプトはますます長くなり、時には数万トークンを超えることもある。

　プロンプトが長くなると「APIレスポンスのレイテンシの増加」「コンテキストウィンドウの制限の超過」「コンテキスト情報の損失」「高額なAPI課金」「Lost in the middle（関連情報をプロンプトの中央に配置すると精度が著しく落ちる）」などコスト増やパフォーマンス低下といった問題が発生する。