GoogleのLLM「Gemini 1.5 Pro」は最大100万トークンのロングコンテキストウィンドウに対応　どう役立つのか？：ロングコンテキストウィンドウの持つ強み

GoogleがリリースしたGemini 1.5の強みの一つに、ロングコンテキストウィンドウがある。Googleが実装したロングコンテキストウィンドウとは何か、そしてこの機能が開発者にどのように役立つのか。

» 2024年03月14日 08時00分公開

[＠IT]

この記事は会員限定です。会員登録（無料）すると全てご覧いただけます。

　Googleが2024年2月に発表した大規模言語モデル（LLM）「Gemini 1.5」の強みの一つに、12万8000トークンのロングコンテキストウィンドウがある。コンテキストウインドウは、モデルが一度に処理できるトークン（単語、画像、動画の一部など、最小の構成要素）の数を示す。

　Googleは2024年2月16日（米国時間）、Gemini 1.5で実装したロングコンテキストウィンドウと、それが開発者にどう役立つのかを公式ブログで紹介した。

コンテキストウィンドウの重要性

　コンテキストウィンドウが重要なのは、AIモデルがセッション中に情報を思い出すのに役立つからだ。チャットbotが数ターン後に情報を「忘れる」ケースは多い。そのようなときにロングコンテキストウィンドウが役立つ。

　Geminiは以前のバージョンで一度に最大3万2000トークンを処理することができたが、「Gemini 1.5 Pro」では、最大100万トークンのコンテキストウィンドウを処理できる。Googleの研究では1000万トークンまでのテストに成功しているという。コンテキストウィンドウが長ければ長いほど、モデルはより多くのテキスト、画像、音声、コード、動画を取り込み、処理することができる。

コンテキストウィンドウの進化

#CmsMembersControl .CmsMembersControlIn {width:100%;background:url(https://image.itmedia.co.jp/images/spacer.gif) #DDD;opacity:0.05;filter:progid:DXImageTransform.Microsoft.Alpha(Enabled=1,Style=0,Opacity=5);z-index:1;}

続きを閲覧するには、ブラウザの JavaScript の設定を有効にする必要があります。

Google、次世代AIモデル「Gemini 1.5」を発表　「10万行のソースコードから修正を提案するデモ」も公開
Googleは、同社の大規模言語モデル「Gemini」の次世代モデルである「Gemini 1.5」を発表した。
Google、商用利用可能な軽量オープンAIモデル「Gemma」を公開
Googleは、大規模言語モデル「Gemma」を提供開始した。「Gemini」と同じ研究と技術に基づく軽量のオープンモデルファミリーだ。
大規模言語モデル（LLM：Large Language Model）とは？
用語「大規模言語モデル」について説明。大量のテキストデータを使ってトレーニングされた自然言語処理のモデルのことを指す。