AI品質をどう観測するか――フリーがLangfuse基盤でPostgreSQLからClickHouseに移行した理由：本番運用ではAIエージェントの「精度が重要」

クラウド会計ソフトウェア「freee」を提供するフリーは、LLMの品質を管理、改善するために「Langfuse」を使ったLLMオブザーバビリティーを実践している。高速OLAPデータベースを手掛けるClickHouseが開催したイベントで、その取り組みを紹介した。

[齋藤公二, 編集：遠藤文康，＠IT]

　高速OLAP（オンライン分析処理）データベース「ClickHouse」は、2016年にオープンソースで公開され、2026年現在ではフルマネージド版の「ClickHouse Cloud」も国内リージョンで提供されている。ClickHouse日本法人は2026年4月、東京で自社イベントを開催した。

　前編『マツダはなぜデータ分析基盤にClickHouseを使うのか――データをためるより「取り出す」こそ問題だったでは、自動車メーカーのマツダが、データ分析基盤としてClickHouseを7年以上活用してきた経験について紹介した。後編となる本稿では、クラウド会計ソフトウェア「freee」を提供するフリーが、同社のサービスにおけるAIエージェント機能の品質を管理、改善するために実施しているLLM（大規模言語モデル）オブザーバビリティー（可観測性）の取り組みを紹介する。

　フリーは「スモールビジネスを、世界の主役に。」をミッションに「誰もが自由に経営できる統合型経営プラットフォームの実現」を目指し、freeeなどのサービスを提供している。

AI時代におけるSoEからSoRへのシフト

フリーSRE事業部SRE部DBREチーム
鈴木嘉恵氏（提供：ClickHouse）

　フリーのSRE事業部SRE部に所属し、データベースの信頼性、可用性、パフォーマンスを専門的に担うDBRE（データベースリライアビリティエンジニアリング）チームの鈴木嘉恵氏は、フリーのAI戦略の基本は『Done for You』だとした上で、「これまでのSaaSは人が使いやすいもの、顧客接点となるSoE（System of Engagement）としてUI（ユーザーインタフェース）／UX（ユーザーエクスペリエンス）の良さが価値の源泉だったが、AI時代は人ではなく、AIエージェントが人の代わりをするような世界になる」と話す。

　そこで求められるのは、AIが正確に業務を完了できる基盤、つまり記録のためのシステムであるSoR（System of Record）としての価値だ。「フリーはSoEからSoRへのシフトを目指している」（鈴木氏）

　SoEからSoRへのシフトを代表するサービスの一つが「まほう経費精算」だ。領収書をスマートフォンで撮影するだけでAIが経費精算を完了させるというもので、インボイス制度対応など複雑な法制度もAIで処理するという。鈴木氏はLLMを活用したこうしたサービスを本番環境で動かすために不可欠になるのがLLMオブザーバビリティーだとし、どう運用しているのかを紹介した。

AIエージェントを本番運用するには精度が重要になる（提供：フリー）

AIの品質を改善し続けるための「Langfuse」と「ClickHouse」

　「会計、労務など基幹業務は判断や記録に法的な責任が生じるケースがあり、評価と改善のサイクルなしに品質を担保し続けることはできない」と鈴木氏は語る。AIエージェントは人間と異なり、精度が劣化しても自ら気付いて修正することはないため、低品質のまま動き続けてしまうリスクがある。処理が積み上がってから問題が発覚すれば、特に基幹業務においては致命的になりかねない。

　LLMオブザーバビリティーの基盤として、フリーでは「Langfuse」（ClickHouseが2026年1月に買収）を採用している。セルフホスティングが可能で機密データを社内に閉じた状態で安全に管理できることが主な理由だという。

　フリーでは、LLMの出力品質を定量的に計測し、継続的に改善する評価駆動開発を推進している。その基盤として利用してきたLangfuse v2では個人単位でしか権限管理ができず、評価駆動開発を進める際のボトルネックになっていた。そこで同社は、組織単位でのアクセス制御や画像データとの連携に対応したLangfuse v3へ移行。「v3では推奨コンポーネントとしてClickHouseが採用されており、移行に合わせてClickHouseを導入することに決めた」と鈴木氏はいきさつを語る。

列指向データベースが適している理由

　LLMオブザーバビリティーでは、AI機能のLLM呼び出しを観測・評価する。1回の呼び出しで数百〜数千トークンのデータが呼び出される。Langfuse v2では、「PostgreSQL」のみでトレースやメトリクスを管理し、経費精算におけるLLM呼び出しの観測・評価基盤として稼働していた。

　「LLMの1回の呼び出しで数百から数千トークンほどのデータが発生し、そうした日常的な処理が蓄積していく」と鈴木氏は説明する。PostgreSQLは一般的なトランザクション処理を得意としており、本来は複雑な集計クエリの処理を担うデータベースではない。これに対してClickHouseは大量データの集計や分析に特化した列指向データベースだ。「そうした処理には列指向のOLAPであるClickHouseの方が適しており、v3でClickHouseが推奨コンポーネントに採用されているのもそうした理由からだと考えられた」と鈴木氏は語る。そこで推奨にのっとり、ClickHouseを導入することにした。最終的に選択したのはClickHouse Cloudだ。

　ClickHouseには、セルフホスト型の他、Amazon Web Services（AWS）、Google Cloud、Microsoft Azureなどのクラウド上で提供されるマネージドサービスがある。「技術面、コスト面、セキュリティ面、運用面の4軸で比較検討した結果、CickHouse Cloudを選択した」（鈴木氏）という。

　フリーでは開発運用基盤としてAWSを採用している。ClikHouse Cloudを選定するに当たって考慮した要件は大きく5つある。1つ目は、SAML SSO経由のログインを必須化できること。2つ目はAWS Private Linkでパブリック通信なしで接続できること。3つ目は、権限構成管理のIaC（Infrastructure as Code）化が可能だったこと。4つ目は、監査ログの取得が可能だったこと。5つ目は、データの国内リージョン内での管理が可能なことだ。

5つの要件を考慮してClikHouse Cloudを採用（提供：フリー）

　「機密情報を扱う基盤としてPSCIRTチーム、セキュリティチームと連携しながら、セキュリティ要件を全て満たせることを確認できたことが、ClickHouse Cloudを導入する決め手になった。ClickHouse Cloudは、セルフホスト型と比べてコスト面で高くなるが、運用負荷の低さがその差額が上回ると判断した」（鈴木氏）

　LLMオブザーバビリティーを推進することによる変化として、鈴木氏は大きく4点を挙げる。1つ目はハルシネーションやタスク遂行率の定量評価が可能になったこと。2つ目はLLM APIエラー率、レイテンシを可視化できたこと。3つ目は、トークンコストと実費をプロダクト別に把握できるようになったこと。4つ目は、評価と改善のサイクルが回るようになったことだ。

　今後は、プロダクトチームが自律的に評価駆動開発ができる環境を整備していくと同時に、Langfuseを他のAI機能へと展開していく。その上で、「AIエージェントが基幹業務を安全に完了できる基盤を目指していく」と鈴木氏は語る。

---

　AI技術が日常業務に組み込まれていく中で、データ基盤に求められる役割もまた変わりつつある。マツダは製造現場を含む大量データの分析基盤としてClickHouseを活用し、フリーはLLMオブザーバビリティーの基盤としてClickHouseを選んだ。用途の違いはあるものの、両社に共通するのは、AIを実務で使い続けるためには、データをためるだけではなく、そのデータが増えるほど高速に処理・分析できる基盤が重要だという点だ。意思決定や品質改善を支えるためにデータ基盤の重要性は今後増していきそうだ。