検索
ニュース

生成AIリスク探索のオープンフレー厶ワーク「PyRIT」、Microsoftがリリース生成AIのセキュリティと責任あるAIのリスクを探る

Microsoftは生成AIのリスクを探索する自動化フレームワークPyRIT(生成AIのためのPythonリスク識別ツールキット)の導入を発表した。生成AIパラダイムにおけるレッドチーム特有の課題に対処する。

Share
Tweet
LINE
Hatena

 Microsoftは2024年2月22日(米国時間)、セキュリティ専門家と機械学習エンジニアが生成AIシステムのリスクを発見するためのオープンな自動化フレームワーク「PyRIT」(Python Risk Identification Toolkit for Generative AI)をリリースした。

 PyRITを開発した背景には、MicrosoftがAIシステムのセキュリティを評価し、改善することを目的に運営する「AI Red Team」の存在がある。このチームは、セキュリティ、敵対的機械学習、責任あるAIといった分野の専門家で構成され、Microsoft全体のリソースを活用している。

 Microsoftは、顧客にリリースする前に幾つかの生成AIシステムとモデルのリスクをレッドチーム(※)で積極的に評価していた。それを通じて、生成AIのレッドチームが、古典的なAIシステムや従来のソフトウェアのレッドチームと3つの点で大きく異なることを発見したという。

(※)システムなどに攻撃や侵入を試みることで、セキュリティ対策の有効性を判断したり、脆弱(ぜいじゃく)性を明らかにしたりするチームのこと

AIレッドチームにおける自動化の必要性

1.セキュリティと責任あるAIのリスクを同時に探る

Copyright © ITmedia, Inc. All Rights Reserved.

ページトップに戻る