本当にAIは「何のために何を開発するか」に踏み込めない？ AIは私の根本的な見落としを指摘してきた：及川卓也からエージェント時代の開発者たちへ（11）（1/2 ページ）

前回、「何を作るか、価値の見極めは人間が握っている」と書きました。今回は、自分を実験台にしてその言葉を確かめます。AIのPMツールに、私が実際に作って公開した製品を、ゼロから企画させてみたのです。結果は、想像していたより厳しいものでした。

[及川卓也，Tably株式会社]

　前回（第10回）、私は「AIはコードの出力を爆発的に増やしたが、どんな成果を得るために何を作るかを決める仕事は、まだ私たちが握っている」という趣旨のことを書きました。書きながら、実は少し引っかかってもいました。確かめもせずに「ここは人間の領域だ」と線を引くのは、単に自分が安心したいだけかもしれないからです。

　幸い、私には手頃な確かめ方がありました。私は「プロダクト倫理」という書籍を出版していて、その関連ツールとして「productethics.jp」というWebのセルフチェックツールを自分で作り、公開しています。開発チームやPM（プロダクトマネジャー）が、自社プロダクトの倫理的なリスクを自分たちで点検するツールです。つまり私の手元には、「何を作るか」を自分で考え、判断し、出荷した実物があります。

　そこでAIのPMツールに、同じものをゼロから企画させてみることにしました。同じ課題の上に、私の判断とAIの判断を並べられるからです。ただし、これは厳密な実験ではなく、私が1人でやった、一度きりのトライアルです。何ができて何ができなかったかを数え上げたり、実物との一致率のような数字を示したりしても、この規模では意味を持ちません。一度きりの試行に意味があるとすれば、それは、判断を比べられた本人が何を感じたかという定性的な部分です。ですから本稿では、私の予想が裏切られた点について報告します。

丸腰のAIが書いた、思想のない仕様書

　試したのは2つです。一つは、Anthropicが公式に出しているProduct Managementプラグインで、もう一つは、執筆時点で2万を超えるGitHubスターを集めるPM Skills Marketplace（通称pm-skills）です。

　どちらも、プロダクトマネジメントの著名なフレームワークを、「Skill」（必要な時にエージェントが自分で読み込んで従う、手順書としてのMarkdownファイル）の形で組み込んだもので、企画の発散から仕様書の作成、そのレビューまでを一通りこなします。この種のツールの紹介記事は既に山ほどあるので、今回はツールの解説も、2つの優劣の採点もしません。今回の記事での目的は、「何を作るか」の中身の設計判断をAIがどこまで肩代わりできるのかを確かめることです。

　実験は2ラウンドで行いました。

　最初のラウンドでは、雑な指示しか行いませんでした。「プロダクト倫理をテーマにした書籍の関連ツールとして、無料のWebセルフチェックツールを企画してほしい」という数行の依頼だけです。書籍の中身も、実物のツールの存在も教えていません。やりとりは最初の1発だけと決め、ツールからの質問には、用意しておいた最小限の回答（「詳細は任せる」など）を返しました。人間の意思をできるだけ渡さない、という条件です。

　出てきたものは、思っていたよりずっとまともでした。仕様書としての抜けはなく、検討すべき前提も並んでいます。

　私は事前に「AIはきっと倫理スコアを算出して合否を出したがるだろう。『チェック済み＝倫理的』という免罪符になる、一番やってはいけない設計だ」と予想していたのですが、外れました。2つとも、スコアで安心させる設計の危うさを自力で指摘してきたのです。

　私が予想したことは他にもあって、例えば「ツール自体の倫理設計（データを集めない、結果を人質に取らない）は、要件から漏れるだろう」と見ていました。これも外れました。「ログイン不要」「データ収集なし」「結果のシェアを強制しない」と両ツールとも自分から書いてきたのです。平均的な企画書の水準は、この時点で超えていたと思います。

　このように、AIに丸投げした結果である「丸腰の出力」は、「使い物にならない一般論」を大きく凌駕していました。

　例えばpm-skillsは、ツールにおける設問の回答選択肢に「分からない」を加え、この回答の比率こそ最重要な指標だ、という設計を提案してきました。チームの誰も答えられない設問こそ、最初に話し合うべきことだという理屈です。実物の設問はYes/Noの2択ですから、この点は公開済みの実物より良い案です。

　それでも、決定的に欠けているものがありました。チェック項目の中身が、「プライバシー」「公平性」「透明性」といった、教科書的なカテゴリーに丸まってしまうのです。書籍でどうしても伝えたかった主題、例えば射幸心をあおる設計の話や、ソフトウェアが人の命を奪うときの話は、影も形もありません。当然です。原稿を渡していないのですから。設計の腕は確かなのに、私の本の思想はどこにもない仕様書でした。ここで終わっていれば、「固有の思想までは書けないのだから、まだ大丈夫」という安心で締められたはずです。

原稿一式を渡した後の変貌

　次のラウンドでは、同じ依頼に、書籍の原稿一式（序章から終章まで10ファイル、約18万字）を添えました。変えたのはそれだけです。Web検索も外部調査も禁止し、根拠は原稿だけに限定しました。実物のツールは、相変わらず見せていません。

　出力は別物になりました。まず、一般的なカテゴリーに丸まっていたチェック項目が、原稿の8つの章立てと41の設問に、そのまま置き換わりました。改変なしに、です。引用された行番号を原稿と突き合わせましたが、捏造（ねつぞう）は1つもありませんでした。原稿には実在の企業の18の事例を挙げた章があるのですが、AIはそれを設問と1つずつ照合する表まで作り、その対応も全て正確でした。私が数週間かけて悩んだ章立てと設問の判断が、数分で、根拠付きで再構成されていく様子は見事なものでした。

　次に、AIは原稿に書かれた思想を、ツール設計の判断材料として使い始めました。

　「点数化は、この書籍が批判した『チェック済み＝倫理的』という等式の再生産になる」として、スコアを表示しないことを譲れない原則として明記する。チェックを終えた最後の画面には、「Noに気付けたこと自体が成果」という原稿の一文を掲げる。さらには、このセルフチェックツール自体を原稿のチェックリストで点検し、その結果をページ上で公開しておく、という機能まで提案してきました。

　「そんなの当たり前ではないか」と思われるかもしれないのですが、私が実物を作ったときには、倫理を問うツール自体がどこまで倫理的であるべきかについて悩みに悩み、他人にも相談しましたし、AIにも意見を聞きました。それが、原稿を渡したとはいえ、私との会話も抜きに一発で出してきたのは、少なくとも私にとっては驚きでした。

　実物を上回る提案も、さらに増えました。例えば、チームの回答パターンが原稿の18事例のどれと重なるかを示す画面。中でもうなったのは、全問にYesが付いたチームに警告を出す画面を、最も重要だと位置付けた設計案です。「問題が1つも見つからないのは、健全だからではなく、見つける力や報告する文化がないことの兆候かもしれない。報告がゼロの現場ほど危ない」と私は原稿に書きましたが、その私自身が思い付かなかった応用です。今公開されているツールより良い設計だと、私も思います。

AIに指摘された、私自身の根本的な見落とし