GoogleのLLM「Gemini 1.5 Pro」は最大100万トークンのロングコンテキストウィンドウに対応 どう役立つのか?ロングコンテキストウィンドウの持つ強み

GoogleがリリースしたGemini 1.5の強みの一つに、ロングコンテキストウィンドウがある。Googleが実装したロングコンテキストウィンドウとは何か、そしてこの機能が開発者にどのように役立つのか。

» 2024年03月14日 08時00分 公開
[@IT]

この記事は会員限定です。会員登録(無料)すると全てご覧いただけます。

 Googleが2024年2月に発表した大規模言語モデル(LLM)「Gemini 1.5」の強みの一つに、12万8000トークンのロングコンテキストウィンドウがある。コンテキストウインドウは、モデルが一度に処理できるトークン(単語、画像、動画の一部など、最小の構成要素)の数を示す。

 Googleは2024年2月16日(米国時間)、Gemini 1.5で実装したロングコンテキストウィンドウと、それが開発者にどう役立つのかを公式ブログで紹介した。

コンテキストウィンドウの重要性

 コンテキストウィンドウが重要なのは、AIモデルがセッション中に情報を思い出すのに役立つからだ。チャットbotが数ターン後に情報を「忘れる」ケースは多い。そのようなときにロングコンテキストウィンドウが役立つ。

 Geminiは以前のバージョンで一度に最大3万2000トークンを処理することができたが、「Gemini 1.5 Pro」では、最大100万トークンのコンテキストウィンドウを処理できる。Googleの研究では1000万トークンまでのテストに成功しているという。コンテキストウィンドウが長ければ長いほど、モデルはより多くのテキスト、画像、音声、コード、動画を取り込み、処理することができる。

コンテキストウィンドウの進化

Copyright © ITmedia, Inc. All Rights Reserved.

スポンサーからのお知らせPR

注目のテーマ

AI for エンジニアリング
「サプライチェーン攻撃」対策
1P情シスのための脆弱性管理/対策の現実解
OSSのサプライチェーン管理、取るべきアクションとは
Microsoft & Windows最前線2024
システム開発ノウハウ 【発注ナビ】PR
あなたにおすすめの記事PR

RSSについて

アイティメディアIDについて

メールマガジン登録

@ITのメールマガジンは、 もちろん、すべて無料です。ぜひメールマガジンをご購読ください。