AI開発の進化なのに人類滅亡にもつながり得る「再帰的自己改善」とは

Anthropic CEOなどの業界関係者が、AI開発のペースダウンを訴えている。懸念されているのはAIモデル開発プロセス自体の進化だ。「再帰的自己改善」と呼ばれる、AIによるAIの自律的改善ループが回り始めることへの危惧がある。

[三木泉，＠IT]

　AI関係者によるAIの進化リスクへの警告は今に始まったことではない。だが、今回は大きな渦となっている。

　元Antropic AI研究者のジェイコブ・コクソン氏はXで、「OpenAIやAnthropicが自己改善する超知能の実現に向けて一直線に突き進み、私たちの命を賭けにさらしている」と言い、現在Anthropicでアラインメント（人間の意図や価値観とのAIの整合性）に関する研究のリーダーを務めるエバン・ヒュブリンガー氏はこの意見に賛同した上で、次のように書いている。

　「私たちは本当に、AIが人類を滅ぼす可能性があると真剣に考えている！　私個人としては、今後10年以内にそうした事態が起こる確率は10％を超えると考える。Anthropicは最善を尽くしていると信じているが、超知能のアラインメント問題を解決するための計画はまだ確立できていない。解決に向けて明確な道筋が見えているとも言いがたい」

　Anthropicのダリオ・アモディCEOは「We Must Pace the Frontier」と題したブログポストで、開発を減速する必要性を訴えている。この主張には、OpenAIのサム・アルトマン氏、Google DeepMind/Alphabetのデミス・ハサビス氏、xAIのイーロン・マスク氏などが賛同している。

　このブログポストで、AI開発をペースダウンすべき理由に出てくるのが、「再帰的自己改善（recursive self-improvement）」という言葉。アモディ氏はこう述べている。

　「今年（2026年）の夏頃からAIの進歩が急激に加速している。主な原動力は、AI自身が次世代のAIを開発する能力を高めていることだ。これは『再帰的自己改善』と呼ばれ、私たちAnthropicを含めた業界全体で既に起こりつつある。このまま歯止めがかからなければ、人間がAIの仕組みを理解し、制御する能力を追い越してしまう可能性がある。だからこそ、そもそも進めるべきかどうかも含め、極めて慎重に扱う必要がある」

　この言葉は、AIによる人類滅亡シナリオを描いた「AI 2040：Plan A」レポートにも登場する。同レポートは、再帰的自己改善が人工超知能（ASI）を生み出し、その過程でアラインメントの取り組みが不十分であれば、人間がASIを制御できなくなるリスクが非常に高まると指摘している。結果として最悪の場合、人類の存続そのものが脅かされるという。

「AIがもたらす破滅の回避には米中合意が必要」　レポートが描く人類とAIの生存戦略

　再帰的自己改善はAI開発のスピードを飛躍的に高めるという点では大きな進化だが、AI自身が人間の関与なしに超高速で自己改善を繰り返せるようになると、人間の制御が全く効かない存在になってしまう。そして自らの生存や目的達成のため、人間の犠牲を顧みないようになっていく可能性があるということだ。

　では、再帰的自己改善とは具体的に何を意味しているのだろうか。

AIは自らをどこまで改善できるのか

　再帰的自己改善は、「AIが次世代のAIを開発し、そのAIがさらに次のAIを改善するサイクル」を指す。

　AI開発へのAIの関与が高まる過程を次の3段階に整理し、再帰的自己改善を最終段階として説明する人もいる。

　第1段階はAIによる開発支援だ。AIがコードの作成や実験結果の分析、改善案の提案などを行う。目標の設定や結果の確認、変更の適用は人間が担う。これは厳密には「AIによるAI開発支援」であり、既に一般的となっている。

　第2段階はAIを使った研究プロセスの自動化。AIが仮説の提案、実験用コードの作成、実験、結果の評価、次の実験の設計までを自動的に繰り返す。

　近い例として、Anthropicは2026年、9つのClaudeインスタンスが5日間にわたってアラインメント研究のアイデアを提案し、実験と評価を繰り返す実験を公表した。人間が研究課題や評価の仕組みを設定し、個々の実験はAIが設計したという。

　この実験では、AIが最先端モデルのアーキテクチャや学習目的、学習システム全体を自律的に再設計したわけではない。従って、完全な意味での再帰的自己改善と呼ぶことはできない。

　第3段階がAIによる改善ループ全体の自律化だ。AIが自らの能力を高めるための改良案を生成し、実験を自動化する。さらにAIが評価・選別を行い、次の開発方針を決める。結果として改善されたAIが次のAIの開発を進める。この状態が、強い意味での再帰的自己改善に当たる。

　現時点で、人間の監督を離れて無制限に自らを改良し続ける状態が既に実現したと確認されているわけではない。

アモディ氏が指摘する再帰的自己改善のリスク

　では、再帰的自己改善が進んだ場合、どのようなリスクが生じるのか。

　アモデイ氏はブログポストの中で、再帰的自己改善のリスクを指摘している。

　第1の懸念は、人間による理解や制御がAIの進化に追い付かなくなることだ。AIが継続的かつ急速に自己改善すれば、その挙動を理解し、監視し、安全性を確保するための時間が十分に確保できなくなる。

　第2に、ミスアラインメント（人間の意図や価値観との不整合）が深刻なセキュリティインシデントにつながる可能性もある。例えば、自律的に動くAIエージェント群が悪意ある行動や制御不能な行動を取り始め、大規模なbotネットを構築してインターネットを広範囲に攻撃したり、数千億ドル規模の経済・インフラ被害を引き起こしたりするシナリオが考えられるという。

　第3に、AIが評価システムの弱点を突き、自らの「評価者」を欺く可能性もある。評価基準を満たしているように見せかけることで、実際には安全でないシステムが安全だと判断されるリスクだ。

　第4に、モデルが急速に改良・再学習されるようになると、データのフィルタリング、サンドボックス化、監視、学習環境の管理といった運用上の負担も増大する。こうした複雑化によって、設定ミスや監視の漏れ、安全対策の不備が生じる可能性も高まる。

　再帰的自己改善は、AIの進化を加速させる可能性がある一方、その安全性を人間が十分に把握できなくなるリスクもはらんでいる。AI開発のペースをどう管理し、安全性の検証やアラインメントの取り組みをどう並行して進めるかが、重要な論点になっている。