ビジネス品質向上に欠かせない「テスト設計」の工数をAIで大幅に短縮――完全自動型E2Eテスト設計システム開発の舞台裏：品質保証のプロに聞く（1）

ビジネスにITが深く関わる現在、ソフトウェア開発の現場ではスピードと品質の両立は重要な課題となっている。特に、業界・業務ノウハウなどドメイン知識が求められるようなテストの設計は人手に依存しており、生産性向上を目指す際のボトルネックとされてきた。この課題に対し、ポールトゥウィンはテスト設計の工数を数十分の一に短縮する、生成AIによる完全自動型E2Eテスト設計システムを開発し、すでに社内利用を開始しているという。品質保証のプロフェッショナル企業である同社の先端技術研究室 久保室長に開発の舞台裏を聞いた。

PR／＠IT

PR

開発生産性向上のボトルネックだった「テスト設計」

　ビジネスにITが深く関わる現在、ソフトウェア開発には、いかにユーザーニーズに即応できるかが求められている。開発サイクルの迅速化ばかりが注目されがちだが、ソフトウェアが業界・業務ごとに異なる要件を満たせる品質になっているかどうかを保証することはビジネスを継続、拡大する上で見落とせない前提条件だ。多くのプロジェクト管理者／リーダーにとってスピードと品質の両立は重要な課題になっている。

　従来主流だったウオーターフォール型開発の場合、工程の後半で品質を保証するためのソフトウェアテストに一定の時間を確保できていた。だが、昨今のアジャイル開発の普及により、必要となるテストの回数も増え、テストを担う人材が不足し、開発現場は逼迫（ひっぱく）している。テスト工程を効率化するために自動化も進んだが、自動化できているのはあくまでも「テスト実行」のみというのが現状だ。

　「業界・業務ノウハウなどドメイン知識が求められるようなテストの設計は人手に依存したままで、生産性向上を目指す際のボトルネックになっていました」と課題を指摘するのはポールトゥウィンの久保雅之氏だ。

ポールトゥウィンの久保雅之氏（Vice President of AI Strategy 兼 先端技術研究室 室長）

　品質保証（QA）のプロフェッショナルとして多くの企業のソフトウェアテストや第三者検証などを担ってきたポールトゥウィンが、こうした状況を打開するために開発し、社内での業務利用を開始したのが、検証テスト（E2Eテスト）の設計をAIで自動化するツール「PTW Auto Test Planner」（仮称）だ。

発想の転換で乗り越えた、設計自動化のハードル

　テスト設計の自動化には大きなハードルがあった。ソフトウェア開発では生成AIの活用が進んでいるが、AI駆動開発では人が作成した要件を基に、コードなどを生成する。「ただ、人が作成した要件定義に漏れや間違いがあったり最新の情報が更新されていなかったりすると、開発したソフトウェアと乖離（かいり）ができてしまうケースが意外と多いのです。誤った要件定義を基にしたテスト設計はそのままでは使えません」

　そこで、PTW Auto Test Plannerは動いているソフトウェアのコードを解析することで、テスト設計の問題をクリアしたのだ。コード解析後は、いきなりテストケースを出力するのではなく、中間ファイル（メタファイル）を出力する。中間ファイルを介すことで、最終的なアウトプットとして、人が理解できるテスト項目書／設計書にも、テスト実行を自動化するためのテストコードにも変換できる。

　「QAエンジニアが担当する手動テスト業務と、テスト自動化エンジニアのコーディング業務のどちらにも対応できます。既存の開発／テスト工程にシームレスに対応できるようにと考えました」

PTW Auto Test Plannerの使用イメージ（提供：ポールトゥウィン）《クリックで拡大》

　PTW Auto Test Plannerは具体的にどう活用するツールなのか。例えば機能追加があったソフトウェアをテストする場合、QAエンジニアは追記された差分仕様書を読み込むのと同時に、PTW Auto Test Plannerを実行し、自動でテスト項目書を生成する。生成されたドキュメントを担当者が最終チェックすることで、カバレッジの高いテスト項目書がスピーディーに完成するという。

　「PTW Auto Test Plannerを使うことで、これまでジュニアクラスのエンジニアなら10日間かけていたテスト項目書作成が数十分で済むようになり、圧倒的なスピードでテストを実装できます」

　テスト設計や項目書作成にはノウハウ・ナレッジが求められ、ジュニアクラスのエンジニアでは対応が難しい作業だった。PTW Auto Test Plannerがシニアクラス並みのテスト項目書を生成することで、エンジニアの対応範囲も広がった。

「QAのプロ」としてのナレッジをAIモデルに注入、精度高める技法

　このようにAI活用にはメリットが多い一方で注意点もある。生成AI活用で避けられない「ハルシネーション」は、テスト設計自動化でも問題となるのだ。

　「LLM（大規模言語モデル）は過去に学習した教師データを基に確率論的にテキストを生成するので、アウトプットが意図しない方向に発散する傾向があります。そのため、本来ユーザーが求めているアウトプットの精度を高めるには、LLMにガードレールやルールを与えて制御するしかありません」

　ここで生きるのが、ポールトゥウィンがQAのプロフェッショナルとして蓄積してきたノウハウだ。長年積み上げてきたテスト手法やテストルール、業界・業務のドメイン知識などをAIモデルに注入するナレッジインジェクションを行っている。

　「AIモデルに知識を追加する方法としてはファインチューニングもありますが、『AIが古い知識から忘れていく』という問題があります。ナレッジインジェクションでは、『この知識を使うように』と都度指示できるので、情報鮮度の面でファインチューニングよりも精度向上が期待できます」

　例えば、テスト設計の手法もその一つだ。汎用（はんよう）的なAIでテストを設計すると表面的な部分のみをベースに項目が出力されるが、実務で活用されるソフトウェアは複数の条件が絡んだより複雑な動きをする。そこで、同社は条件分岐を樹形図のように捉え、多様なパターンを事前にシミュレーションすることで、細かなテスト項目を作成する。

　「こうしたテスト手法のナレッジがあるからこそ、それを組み込んだAIモデルの実装が可能になりました」

　ポールトゥウィンが蓄積してきたナレッジに加え、探索的なテストパターンの設計にも対応するなどコンピュータサイエンスの知識を組み合わせることで、テスト設計の精度を向上させている。

QAエンジニアに必要なのは「AIを適切に管理・監督する」スキル

　久保氏は、単純なプログラミングの生産性で考えればAIは人のスピードを超えており、ある程度ソフトウェア開発を任せられるフェーズが近づいているという認識を示しつつ、AIが原理的にはらむハルシネーションリスクを鑑みて「人によるレビューは欠かせません。テストコード開発をAIに100％任せることはないでしょう」と語る。

　今後は、AIが出力する誤りやミスジャッジによる振る舞いを、より上位のレベルから監視するスキルがQAエンジニアに求められる。つまり、新たにAIを使いこなせるスキル・知識を身に付ける必要がある。

　「『AIは優秀な部下だ』という比喩があります。まさにその通りですが、ビジネスのルールや一般的なテスト手法を知らないので、放置すると問題が発生します。それを管理・監督するのが人間の役割になるでしょう」

　ハルシネーションリスクの他にもAI活用で陥りがちな落とし穴があるという。「AIを活用し始めた頃に見られるのが、AIに頼り過ぎる姿勢です。『AIが出した答えだから正しい』と思い込んでしまうことで、適切な判断ができなくなります」

　ポールトゥウィンでは、こういったリスクや落とし穴にも対応するため、AIを適切に扱えるQAエンジニアを育成するトレーニングを行っている。単にAIツールだけを提供するのではなく、トレーニングされたQAエンジニアがAIツールを最大限に活用する体制をとることで、「これまで以上にスピーディーで高品質の検証サービス」を提供するという。

セキュリティや情報漏えいの懸念にも先回りで対応

　AI活用ではセキュリティや情報漏えいの懸念も注目されつつあるが、ポールトゥウィンの開発したテスト設計システムPTW Auto Test Plannerはその点も先回りして対応している。

　ベースとなるAIは基盤モデルを活用して構築しており、日本国内の特定サーバのみにデータが保管される。「コンテンツフィルター」機能も備えており、個人情報の入力や、犯罪行為のアイデアを募るといったAIに対する不正な入力をフィルターによってブロックしている。加えて、AIに対してプロンプトインジェクションなど仮想的・疑似的な攻撃を仕掛ける仕組みを構成し、定期的に最新のハッキング手法を仕掛け、どこまで防御できるかをチェックしている。また、AIツールに対する操作は24時間365日リアルタイムで監視しており、異常な操作を自動的に検知する仕組みを導入した。

　「疑わしい回答が見られたら、事前に防止する施策を実施します。攻撃される前に発見することで、安全性を保証しています」

AIと“共に働く”未来を目指す

　AI活用はこれからも進む。今回ポールトゥウィンではテスト設計の自動化を実現したが、次のフェーズではテストコードの自動生成、さらにテストの自動実行、テストが失敗した際にコードを自動で書き直す自動修復の提供まで目指す。

　「最上流の要件定義から設計、コーディング、テスト、デリバリーとソフトウェア開発のバリューチェーン全体をAIで生成するようになるでしょう。これは開発プロセスの“横軸”ですが、“縦軸”でもAI活用が進むと思います」

　縦軸とは、各プロセスでAIが生成するアウトプットに含まれる間違いを修正するような技術だ。例えば、テストを実行して失敗した場合、「失敗した」というデータがたまる。このデータが増えれば傾向を把握でき、目の前に現れた不具合を発見するだけでなく、「こういう失敗が出そうだ」ということを先回りして、予防的なテストの実施も可能になるはずだ。

　こうした技術的な挑戦と併せて、ポールトゥウィンではAIと人間が“共に働く”、新しい働き方やビジネスの進め方も提案していくという。

　「AIを使いこなせれば、仕事の品質も、スピードも、量も向上し、今までできなかった業務が可能になります。AIは良い問いを出すと、良い回答が返ってくる。つまり、AIの能力を引き出す問いができれば生産性も上がるので、効率的に質の高い回答を引き出す方法など、人間側が理解やリテラシーを深める必要があります。ポールトゥウィンとしてもエンジニアの再教育も含めて取り組んでいきますが、お客さまにもAIを活用したサービスに慣れていただき、共にビジネス品質の向上に取り組んでいきたいですね」