生成AIリスク探索のオープンフレー厶ワーク「PyRIT」、Microsoftがリリース：生成AIのセキュリティと責任あるAIのリスクを探る

Microsoftは生成AIのリスクを探索する自動化フレームワークPyRIT（生成AIのためのPythonリスク識別ツールキット）の導入を発表した。生成AIパラダイムにおけるレッドチーム特有の課題に対処する。

[＠IT]

　Microsoftは2024年2月22日（米国時間）、セキュリティ専門家と機械学習エンジニアが生成AIシステムのリスクを発見するためのオープンな自動化フレームワーク「PyRIT」（Python Risk Identification Toolkit for Generative AI）をリリースした。

　PyRITを開発した背景には、MicrosoftがAIシステムのセキュリティを評価し、改善することを目的に運営する「AI Red Team」の存在がある。このチームは、セキュリティ、敵対的機械学習、責任あるAIといった分野の専門家で構成され、Microsoft全体のリソースを活用している。

　Microsoftは、顧客にリリースする前に幾つかの生成AIシステムとモデルのリスクをレッドチーム（※）で積極的に評価していた。それを通じて、生成AIのレッドチームが、古典的なAIシステムや従来のソフトウェアのレッドチームと3つの点で大きく異なることを発見したという。

（※）システムなどに攻撃や侵入を試みることで、セキュリティ対策の有効性を判断したり、脆弱（ぜいじゃく）性を明らかにしたりするチームのこと

AIレッドチームにおける自動化の必要性

1．セキュリティと責任あるAIのリスクを同時に探る