高度なAIでAIをテスト　OpenAIが実践するAIモデルのレッドチーム演習とは：人によるレッドチーム演習の4つのポイントも紹介

OpenAIはレッドチーム演習に関する2つの論文を公開した。安全で有益なAIの実現を支援するために、人とAIを使ったレッドチーム演習がどのように進歩しているかが説明されている。

» 2024年12月14日 08時00分公開

[＠IT]

この記事は会員限定です。会員登録（無料）すると全てご覧いただけます。

　OpenAIは2024年11月21日（米国時間）、生成AIを対象としたレッドチーム演習に関する2つの論文を公開した。同社は論文の概要について以下のように説明している。

OpenAIのレッドチーム演習のアプローチ　手動か、自動か、混合か？

　OpenAIでは、外部の専門家を雇用するなど、長年にわたりレッドチーム演習を実施してきた。初期のレッドチーム演習は、主に手動で実施しており、テストの実施は人間に頼っていた。

　レッドチーム演習の方法には、手動、自動、混合アプローチがあり、OpenAIではこれら3つ全てを使用している。新しいシステムの潜在的なリスクをテストするために、手動と自動の両方の方法で外部の専門家を雇っている。一方で、モデルの評価と、より安全なモデルへのトレーニングの両方において、強力なAI（人工知能）を使用してモデルの誤りの検出を強化できるとみている。

　人によるレッドチーム演習と自動化したレッドチーム演習について取り上げた論文の内容は下記の通り。

人によるレッドチーム演習　4つの重要なポイントとは

#CmsMembersControl .CmsMembersControlIn {width:100%;background:url(https://image.itmedia.co.jp/images/spacer.gif) #DDD;opacity:0.05;filter:progid:DXImageTransform.Microsoft.Alpha(Enabled=1,Style=0,Opacity=5);z-index:1;}

続きを閲覧するには、ブラウザの JavaScript の設定を有効にする必要があります。

レッドチーム演習から見えてきた、セキュリティ対策「3つの間違い」
F-Secureは、2019年10月2～3日開催の「Cyber Security Nordic」に合わせて開催したプレスカンファレンスにおいて「レッドチーム演習」サービスの中身を紹介して、企業のセキュリティ対策における3つの間違いを指摘した。
AIアライメント（AI Alignment）とは？
用語「AIアライメント」について解説。AIシステム（主に大規模言語モデル）が人間の意図や倫理観に沿うように、AIを訓練、調整するための技術や理念のこと。これにより、AIが社会や人間にとって安全（つまり無害かつ正直）で、役立つ存在にすることを目指す。
AIによるAIの修正は可能か　GitHub Copilot Autofixから見えてくるAIの新たな課題
TechTargetは「GitHub Copilot Autofixから見る、AIの信頼度」に関する記事を公開した。AIによって生成されるコード量の多さによってソフトウェアデリバリープロセスが窮地に陥っている。こうした状況では、GitHubの「Copilot Autofix」による脆弱性管理が役立つ可能性がある。だが、AIを制するのにAIを信頼してもよいのだろうか。