「AIに原始人っぽく話すとトークン65％削減」は本当か？ JetBrainsが検証してみた：GitHubで10万Starのスキル「Caveman」

JetBrainsは、AIエージェントの応答を圧縮するスキル「Caveman」の効果を検証したした結果を公式ブログで公開した。Cavemanは、「エージェントの応答を原始人のような簡潔な言葉に変えることで、トークンを65％削減する」と主張しているスキルだ。

[＠IT]

　JetBrainsは2026年7月、コーディングエージェントのトークン圧縮スキル「Caveman」が、主張通りの効果を持つのかを検証した結果を公式ブログで公開した。

　Cavemanは、エージェントの応答を原始人のような簡潔な言葉に変えることで、トークンを65％削減すると主張しているスキルだ。19歳の開発者ジュリアス・ブルッセ氏が構築したスキルで、GitHubで約9万8800件（2026年8月18日時点）のStarを獲得している。

Cavemanで本当にトークンを節約できるのか？

　Cavemanは、「Claude Code」「Codex」「Gemini」「Cursor」など30種類以上のエージェントに対応している。「一度インストールすれば、エージェントは不要な情報を省き、簡潔な言葉で応答する。コード、コマンド、エラーはバイト単位で正確に保持される。応答ごとに出力トークンを永久に節約できる」とうたっている。

　JetBrainsは、エージェントはチャット画面とは違い、出力の大半がツール呼び出しやファイル編集、コードで占められる点に着目した。スキルはそれらに影響を与えないはずだ。そこで宣伝文句が測っていない2点を測定した。複数ステップにおけるエージェント作業での削減率と、「エージェントの文体を簡潔にすると、タスクの成果が劣化するかどうか」だ。

　検証は同一タスクをスキルなし（A群）とスキル強制有効（B群）で対にして比較するA/Bベンチマークで行った。

　Cavemanは本来、利用者が「caveman mode」「be brief」といったフレーズで起動するスキルだが、検証では全ての応答で強制的に有効化した。測定値は全てスキルにとっての最良ケースであり、エージェントが自律的に起動を判断する通常利用では、削減率はこれと同等か低くなる。

　結果、出力トークンの削減率は8.5％だった。82のクリーンなペアで、出力トークンは59万2000から54万2000に減った。最初の10タスクの小規模実行では29.5％の削減に見えたが、規模を広げると再現せず、8.5％に収束した。

　宣伝される65％の削減はチャット形式の散文回答での話で、エージェントの出力はコード、差分、ツール呼び出し、正確なエラー文字列が中心を占める。Cavemanはそれらを正しくそのまま残すので、圧縮されるのはツール呼び出しの合間の説明部分だけで、その量は多くないという。

3回の実行における出力トークン削減率。宣伝される65％はグラフの枠外（提供：JetBrains）

出力の質は落ちない　82ペア中64ペアが同スコア

　検証チームが気にしていた「エージェントの文体を簡潔にすると成果が悪化するのでは」という点については、劣化は検出されなかった。82ペアのタスクのうち、スキル側がスコアで上回ったのは8タスク、下回ったのは10タスク、64タスクは同スコアで、両群は統計的に区別できなかった。同点でない18タスクに対する符号検定の結果はp値0.82で、有意差には程遠い。平均タスクスコアはスキルなしの0.326に対し、スキル側は0.311で、0〜1の尺度で差は0.015だった。

タスクごとの対の結果。82ペア中64ペアが同スコアだった（提供：JetBrains）

　小規模な初回実行ではスコア差が劣化のように見えたが、サンプル数が増えるほど差は縮み、ノイズのパターンと判明した。文体の変換自体は設計通りに機能しており、スキル側の応答記録は紛れもない原始人口調である一方、コードの成果物は正常な状態だった。

実行ごとの平均タスクスコア。サンプル数が増えると差は縮んだ（提供：JetBrains）

コスト削減効果はあるが、安定したものではない

　JetBrainsは検証結果について、「Cavemanは安全に利用でき、文体に関する説明も正確だが、トークン削減効果については過大に宣伝されている」と総括した。実際のエージェント作業では、スキルが意図的に保持するコードとツール呼び出しがトークンの大半を占める。このため、削減は最良でも出力トークンで約8.5％、コストで約10％にとどまる。

　「Cavemanが気に入れば使ってよい。品質を犠牲にすることは実質的になく、楽しめるスキルでもある。ただし、日常的なエージェント作業で大幅なコスト削減を期待すべきではない」（JetBrains）