ChatGPTに「言っても良いことと悪いこと」を教えるツール NVIDIAがオープンソースコードで公開：話題の逸脱防止、正確な情報源、適切な連携を保証

NVIDIAは、ジェネレーティブAIの正確性や適切性、安全性の確保を支援するツール「NeMo Guardrails」をオープンソースで公開した。ジェネレーティブAIアプリケーションを指導し、軌道に乗った優れたテキストの応答を作成するのに役立つ。

[＠IT]

　NVIDIAは2023年4月25日（米国時間）、ジェネレーティブAI（生成系AI）の正確性や適切性、文脈の整合性、安全性の確保を支援するツール「NeMo Guardrails」をオープンソースで公開した。同社は「ソフトウェア開発者がジェネレーティブAIアプリケーションを指導し、軌道に乗った優れたテキストの応答を作成するのに役立つ」としている。

プレスリリース

「全てのLLMで動作するようにした」

　多くの産業で、これからのAIアプリケーションを支えるエンジンである大規模言語モデル（LLM）とそれを使ったサービスの採用が進んでいる。NeMo Guardrailsには、そういったテキスト生成型AIアプリケーションを安全に利用するために必要なコードやドキュメントがまとめられている。

　NVIDIAは「OpenAIの『ChatGPT』をはじめとする全てのLLMで動作するように設計した」と説明している。数行のコードを追加するだけでルールを作成でき、機械学習やデータサイエンスの専門知識は不要だ。また、「LangChain」や「Zapier」をはじめ、多様なライブラリやツールと連携させることもできる。

　NVIDIAによると、NeMo Guardrailsを利用することで、AIアプリケーションに「3つのガードレール」を設定できるという。

話題のガードレール

　AIアプリケーションが“望ましくない領域の話題”に逸脱するのを防ぐ。例えばカスタマーサービスが天気に関する質問に答えないようにする。

安全性ガードレール

　アプリケーションが正確で適切な情報で応答することを保証する。不要な言葉をフィルタリングして、信頼できる情報源のみを参照するよう設定可能だ。

セキュリティガードレール

　安全性が確認されている外部アプリケーションとのみ接続するように制限できる。

　NeMo Guardrailsは、「NVIDIA NeMoフレームワーク」（以下、NeMoフレームワーク）に組み込まれている他、オープンソースコードとしてGitHubで公開されている。NeMoフレームワークの多くは以前からオープンソースコードで公開されており、ユーザーが独自のデータを使って言語モデルを学習させたりチューニングしたりできるようになっている。

　また、同ツールはサービスとしても提供されている。生成AIモデル構築を支援するクラウドサービス群「NVIDIA Foundations」の一部として利用可能だ。