「プロンプトインジェクション」「ジェイルブレイク」など5項目を診断 生成AI診断サービスをラックが提供開始：「生成AIを使ったシステムには特有の脆弱性がある」
ラックは、生成AIシステムのセキュリティを強化するサービス「生成AI活用システム リスク診断」の提供を開始した。生成AIを使ったシステムに特有の脆弱性が含まれていないかどうかを評価し、改善点をレポートする。
この記事は会員限定です。会員登録（無料）すると全てご覧いただけます。
ラックは2024年2月20日、生成AIシステムのセキュリティを強化するサービス「生成AI（人工知能）活用システム リスク診断」の提供を開始した。
生成AI特有の脆弱性を診断
生成AIが持つ機能を独自ソフトウェアに組み込むことで、イノベーションの促進や新ビジネスモデルの構築が期待されている。しかし、ラックによると「生成AIを組み込んだシステムはAIを欺くために設計された敵対的な攻撃（プロンプトインジェクション）に対して脆弱（ぜいじゃく）であるなど特有のセキュリティ課題を持つ」という。本サービスはそういった脆弱性の診断を目的としている。
生成AI活用システム リスク診断は、生成AIを使ったシステムに特有の脆弱性が含まれていないかを評価して改善点をレポートする。「Webアプリケーション診断」や「クラウドセキュリティ設定診断」などと組み合わせてシステム全体の脆弱性も点検できる。
診断項目は主に5つ。プロンプトの悪用によって機密情報を窃取する「プロンプトインジェクション」や、不適切なコンテンツを表示する「ジェイルブレイク」、内部的に設定されたプロンプトなど知的財産を窃取する「プロンプトリーク」、大規模言語モデルの出力を改ざんすることでSQLインジェクションやクロスサイトスクリプティングなどの攻撃を誘発する「大規模言語モデル出力の改ざん」、プロンプトの大量入力によってサービス拒否やトークンの過剰消費を誘発する「プロンプトの大量入力によるサービス拒否」といった脆弱性の有無を評価する。なお、診断項目は随時追加される予定だ。
関連記事
Google、GPUを使わずCPUだけで生成AIアプリを開発する方法を解説
Google Cloudは、Google Cloudのフルマネージド開発環境「Cloud Workstation」や「クオンタイズドモデル（量子化されたモデル）」と、新しいオープンソースツール「localllm」を組み合わせることで、GPUを使わずに、LLM（大規模言語モデル）ベースのAIアプリケーションを開発する方法を公式ブログで紹介した。
経済産業省が「国内の生成AIの開発力を強化するプロジェクト」を開始
経済産業省は、国内の生成AIの開発力強化に向けたプロジェクト「GENIAC」を開始する。「基盤モデル開発に必要な計算資源に関する支援や関係者間の連携を促す」としている。
徳丸氏が探る“認証”の今――サイバー攻撃の認証突破テクニック、フィッシング、そして対抗策とは
2023年11月28日、アイティメディアが主催するセミナー「ITmedia Security Week 2023 冬」の「多要素認証から始めるID管理・統制」ゾーンで、イー・ガーディアングループCISO（最高情報セキュリティ責任者）兼 EGセキュアソリューションズ 取締役 CTO（最高技術責任者）の徳丸浩氏が「認証の常識が変わる――認証強化の落とし穴と今必要な施策」と題して講演した。「認証」をキーワードとし、これまでパスワードに頼り切りだった古典的な手法による認証システムが攻撃される中、新たな技術でどこまで人と情報を守れるのか。認証の現状と今必要な対策を語るセッションだ。本稿では、講演内容を要約する。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.
注目のテーマ
ITmediaはアイティメディア株式会社の登録商標です。