1万9000人が利用するソフトバンクの「全社RAG基盤」 構築の泥臭い舞台裏：ソフトバンク生成AI導入を支えた企業ITの現場（3）
AI活用で激突する「現場の利便性」v.s.「会社の安全性」。RAGの乱立に直面したソフトバンクが、ガバナンスをシステムに組み込み、数万時間相当の業務削減効果（社内の試算による）を達成した「全社RAG基盤」構築の舞台裏と、そこから得られた気付きを共有します。
はじめまして。ソフトバンク（コーポレートIT本部 AIデータ基盤開発部）の中村友哉です。普段は、生成AIのデータ整備を担う「TASUKI Annotation」サービスのPdM（プロダクトマネジャー）を務めています。
皆さまの会社では、データを用いたAI活用はスムーズに進んでいるでしょうか。
「PoC（概念実証）まではうまくいったのに、全社展開しようとした途端にセキュリティ部門からストップがかかった」「各部署が勝手にツールを導入し、データが分散してしまっている」――そんな悩みを抱える方は少なくないはずです。
実は、私たちソフトバンクの社内でも、まさに同じ課題に直面していました。社内ではデータが未整備のまま、さまざまな環境に分散し、データのサイロ化が進んでいる状態でした。この課題を解決するため、私たちは「全社RAG基盤」（※1）という統合データ基盤を構築しました。
本稿では、この全社RAG基盤を作る上で直面した「リアルな苦労」、特に「ガバナンスを守りながらどう利便性を追求したのか」という泥臭い舞台裏と、そこから得た気付きを紹介します。
※1：RAG（Retrieval-Augmented Generation、検索拡張生成）とは、LLM（大規模言語モデル）が回答する際、あらかじめ学習された情報だけでなく、社内データや外部の最新情報などのデータソースを検索し、その結果を基に回答を作成する技術
1. 現場主導のAI活用が生んだ「RAGの乱立」と「データサイロ化」
生成AIの登場により、社内のAI活用の熱量は一気に高まり、各部署で業務効率化の取り組みが広がりました。ソフトバンクでも従業員が競うように、生成AIのSaaS（Software as a Service）利用や独自構築で、自部門向けのRAG環境を立ち上げていきました。
現場主導でAI活用が進むこと自体は素晴らしいことです。しかし、システム全体を管理するIT部門の視点から見ると、これは看過できない事態でした。なぜなら、以下のような深刻な問題が同時多発的に引き起こされていたからです。
機密情報の所在が見えにくくなるリスク
各部門が独自のAI環境やSaaSへデータをアップロードすると、誰が、どこに、どのような情報を格納しているのかを全社的に把握しづらくなります。特に、機密情報や取り扱いに注意が必要な情報が含まれている場合、管理の目が届かない状態は大きなリスクになります。
似たような環境構築が各部署で重複する非効率
A部門とB部門が、それぞれ似たような検索パラメーターを設計したり、ベクトルデータベースを構築したりするケースもありました。部門ごとでは合理的な取り組みであっても、全社で見ると同じような作業が重複し、コストやリードタイムが増えてしまいます。
データ品質のばらつきによる回答精度の低下
RAGでは、投入するデータの品質が回答精度に大きく影響します。しかし、現場ごとにマニュアルやPDF、Excel資料などをそのまま大量に投入すると、AIが内容を正しく理解できず、誤った回答を生成することがあります。いわゆるハルシネーション（幻覚：事実と異なる内容を生成する現象）です。
回答精度が低い状態が続くと、せっかく作ったRAGも「期待した精度が出ないツール」と見なされ、利用が広がらなくなってしまいます。
今後、AIがより自律的に業務を支援する「AIエージェントの活用」が進むほど、データ環境の整備はさらに重要になります。AIが正しく機能するためには、データが安全に管理されているだけでなく、AIが理解しやすい形に構造化されている必要があります。
そこで私たちは、部門ごとのニーズに応えながら、全社としてのガバナンスも確保できる「全社で統合したデータ基盤」を構築することにしました。
2. 最大の課題は「現場の利便性」と「会社の安全性」の両立
全社RAG基盤のコンセプトは、信頼できる情報を「会社の公式ナレッジ」として整備し、全社員が安心して利用できる一定の品質基準を満たしたRAG環境を実現することです。
しかし、開発を進める中で最も難しかったのは、現場と管理部門のニーズをどう両立するかでした。現場のRAG作成者からは、次のような声がありました。
- 「できるだけ早く、簡単にRAGを作りたい」
- 「社内の複雑な審査に時間をかけたくない」
- 「作ったRAGを多くの人に使ってもらいたい」
一方で、セキュリティ部門からは、次のような要件がありました。
- 「RAGが無秩序に乱立する状態は避けたい」
- 「機密情報や古い情報が混入しないようにしたい」
- 「誰がどの情報にアクセスできるのかを厳密に管理したい」
現場の要望だけを優先すると、セキュリティや情報管理のリスクが高まります。逆に、管理部門の要件だけを重視すると、使いにくく、誰も使わないシステムになってしまいます。
この「利便性」と「ガバナンス」の両立こそが、全社RAG基盤構築における最大のテーマでした。
私たちは、データガバナンスに基づく情報管理ルールや社内規程を一つ一つ確認しながら、「どこまでをシステムで制御できるか」「どこに人の確認を入れるべきか」を整理しました。その結果、単にルールの順守を利用者の運用に任せるのではなく、ガバナンスをシステムの中に組み込むという方針にたどり着きました。
3. ガバナンスをシステムに組み込む3つのアプローチ
部門責任者の承認を組み込んだワークフロー
どれだけAIが便利でも、AIに読み込ませてはいけない情報があります。個人情報や機密性の高い情報は、取り扱いに十分な注意が必要です。そこで全社RAG基盤では、データのアップロードからAI連携までの間に、承認ワークフローを組み込みました。
データ管理者がファイルをアップロードする際には、画面上で「個人情報に該当しないこと」など、情報入力に関するルールを確認します。RAGをAIアプリケーションと連携するには、システム上で部門責任者を選択し、連携申請をする必要があります。
部門責任者は、申請されたデータの目的や内容を確認し、問題があれば差し戻し、問題がなければ承認します。
このように、人の確認が必要なポイントをシステム上のワークフローとして組み込むことで、現場の利便性を保ちながら、組織としての責任の所在を明確にしました。
社員認証基盤によるアクセス制御と、MCPによる拡張性
社内の公式ナレッジであっても、全ての情報を全従業員に公開できるわけではありません。全従業員が閲覧してもよい情報もあれば、特定の部署や役職のみに限定すべき情報もあります。
そこで全社RAG基盤では、社内の社員認証基盤（IdP：Identity Provider）と連携し、個人ごとに厳密に認証・認可する仕組みを構築しました。
RAG作成者は、承認後に公開範囲を「本部」「統括部」「部」「課」といった単位で指定できます。これにより、権限のないユーザーがChatGPTで質問した場合でも、対象のRAGデータにはアクセスできないようにしています。
将来的にさまざまなAIアプリケーションやエージェントと連携することを見据え、MCP（Model Context Protocol）も採用しました。これにより、ChatGPTをはじめとする複数のAIアプリケーションと、セキュアかつ効率的にデータ連携できるアーキテクチャを整えています。
データ前処理と自動精度テストによる品質担保
RAGの精度を左右するのは、AIモデルだけではありません。むしろ、投入するデータの品質や構造が非常に重要です。
特に、企業内には複雑なExcel仕様書や、図表を多く含むPDFマニュアルなど、AIにとって理解しづらい資料が数多く存在します。これらをそのまま読み込ませると、数値を誤って解釈したり、文脈を取り違えたりすることがあります。
そこで私たちは、データの前処理と精度検証の仕組みを強化しました。
1つ目は、自動構造化機能です。複雑な表や画像内のテキストをAIが理解しやすい形にするため、対象箇所をMarkdown形式のテキストデータに変換・結合する機能を実装しました。
2つ目は、自動精度検証です。RAGをAIアプリケーションと連携する前に、LLMを活用して精度検証用のQA（質問・回答）セットを自動生成します。その上で、RAGの回答と模範解答を比較し、システムがOK／NGを判定します。
これにより、品質基準を満たさないRAGが社内に展開されることを防ぎ、利用者が安心して使える状態を目指しました。
4. 現場に使われる基盤にするためのアジャイルな改善
どれだけ堅牢（けんろう）なシステムを作っても、現場で使われなければ意味がありません。全社RAG基盤の構築では、セキュリティやガバナンスを重視する一方で、「現場が本当に使いやすいか」を徹底的に確認しました。
開発途中にはユーザビリティテストを実施し、実際の社員に「ログインから公開申請まで」「差し戻しへの対応と再申請」といった一連の操作を試してもらい、操作上の課題を確認しました。
その結果、開発側だけでは気付きにくいポイントが数多く見えてきました。画面上の説明が足りずに操作に迷う箇所や、利用者にとって価値が伝わりにくい導線などです。こうしたフィードバックを基に、UI（ユーザーインタフェース）や文言、操作フローを改善していきました。
社内のSlackコミュニティーも活用しました。全従業員に向けて、追加してほしいテキスト系拡張子（.txt、.md、.csvなど）に関するアンケートを行い、現場のリアルな要望を機能改善に反映しました。
裏側では、データガバナンスに沿って問題のあるデータが入らないようにする仕組みを持たせながら、利用者から見える画面はできるだけ分かりやすく、初めてでも操作しやすいものにしました。このバランスこそ、私自身、PdMとして最もこだわったポイントです。
ガバナンスはAI活用を止めるものではなく、広げるためのガードレール
こうした技術的な工夫と、現場・管理部門との調整を重ねた結果、全社RAG基盤は多くの社員に利用される基盤へと成長し、社内の試算では数万時間相当の業務削減効果を生み出しています。
複雑な仕様書や、店舗・コールセンターの膨大なマニュアルも、安全かつ迅速に照会できるようになりました。これまで「ITリテラシーの壁」や「セキュリティの壁」によってAI活用が進みにくかった部門でも、業務に合わせたAI活用が可能になりつつあります。
AI導入において、セキュリティや権限管理といったガバナンスは、ときにスピードを落とす「ブレーキ」と見なされることがあります。
しかし、承認フロー、IdP連携、自動精度テストといった仕組みをシステムに組み込むことで、ガバナンスはAI活用を妨げるものではなく、全従業員が安心してAIを使うための「ガードレール」になります。
そして、このように統合・整備されたデータ環境こそが、AIエージェントが業務を支援していく未来に向けた重要な投資になると考えています。社内AIのサイロ化やガバナンスに悩む皆さまにとって、私たちの取り組みが少しでも参考になれば幸いです。
執筆者プロフィール
中村友哉（なかむら・ともや）
技術統括 コーポレートIT本部 統合サービスプラットフォーム統括部 AIデータ基盤開発部
AI開発企業／生成AI導入企業向けデータ作成サービス「TASUKI Annotation」にて、PdM(プロダクトマネージャー)として開発をリード。社内のデータサイロ化解決のための全社RAG基盤の取り組みにて社内表彰。
Copyright © ITmedia, Inc. All Rights Reserved.