「指標が意思決定に使われるほど、目的を見失って行動が偏り、プロセス(=制度や活動の進め方)がゆがむ」という経験則。もともとは教育改革におけるテストスコアの扱われ方を問題提起したものだが、現在では企業のKPI運用や政策評価、AIモデルの性能指標などで引用される。
キャンベルの法則(Campbell's Law)とは、「ある指標が意思決定に使われるようになるほど、本来の目的を見失って人々の行動がその指標に合わせて変化し、社会にある特定のプロセス(=制度や活動の進め方)がゆがむ傾向がある」という、指標利用に関する経験則である。米国の社会科学者ドナルド・T・キャンベル(Donald T. Campbell)氏が1976年に発表した論文で述べた次の言葉に由来する。
「いかなる定量的な社会指標も、社会的な意思決定のために用いられるようになればなるほど、それはゆがんだ社会的圧力を受けやすくなり、その結果、それが監視しようとした社会の中のプロセスをゆがめ、腐敗させる傾向を強めるだろう。」(The more any quantitative social indicator is used for social decision-making, the more subject it will be to corruption pressures and the more apt it will be to distort and corrupt the social processes it is intended to monitor.)
この法則の核心は、指標が「監視対象(プロセス)」から「目標(ターゲット)」へとすり替わる点にある。例えば、教師の評価を「生徒のテストの点数」で決めるようにした場合を考えてみよう。
当初は「教育の質」を測るための指標だったはずが、それが教師の昇進や給与に直結する「目標」となった途端、教師は「教育の質を高める」ことよりも「点数を上げる」ことに最適化された行動を採るようになる。結果として、「テストの点数」という指標は上昇しても、本来測定したかった「教育の質」という実態はむしろ低下してしまう(ことがある)。これがキャンベルの法則が指摘する「指標によるプロセスのゆがみ」である。
この例のように、キャンベルの法則はもともと教育改革におけるテストスコアの扱われ方を念頭に提唱されたものだ。だが現在では、教育現場の「テストの点数」に限らず、企業やビジネスでのKPI(重要業績評価指標)の運用、政策の成果評価、さらにはAI/機械学習モデルの性能評価など、定量的な(=数値による)指標を用いて何かを管理したり改善したりしようとする際に生じる「指標の落とし穴」を説明するために広く引用されている。
この説明を聞いて、「グッドハートの法則(Goodhart's Law)」という言葉を連想される方もいるだろう。グッドハートの法則は「ある指標が目標になると、それはもはや“良い指標”ではなくなる」という警句で知られており、キャンベルの法則と非常に近い概念を表す。ただし厳密には、キャンベルの法則は社会科学(教育評価など)で「プロセス自体のゆがみ」を、グッドハートの法則は経済学(金融政策など)で「指標と実態の乖離(かいり)」を主に論じてきた違いがある。
AI/機械学習の分野でも、両者はよく引用される。グッドハートの法則は、AIモデルが訓練時の評価指標に過度に最適化した結果、実運用時の性能が悪化する現象を説明する際に用いられる。例えば、クリック率を最大化するよう訓練された推薦システムが、扇情的な見出しの低品質なコンテンツを推薦してしまうケースなどである。
一方、キャンベルの法則は、AIシステムの評価指標が公開されることで、人間(データ提供者や利用者)がその指標を意識して行動を変え、プロセスがゆがむ現象を説明する際に用いられる。例えば、不正検知AIの判定基準を学習した攻撃者が検知を回避するよう行動を変えるケースや、コンテンツモデレーションAI(有害コンテンツを検知するAI)の基準を知ったユーザーが違反ギリギリの表現で規制を回避するケース、あるいは採用AIの評価項目を知った応募者が履歴書にキーワードを詰め込むケースなどである。
ただし実務では、両者を厳密に区別せず、「指標の最適化がもたらす逆説的な問題」を指す総称として扱われることも多い。いずれにしても、重要な意思決定を行う際は、単一の指標に頼るのではなく、それが測定しようとしている「本来の目的」は何かを常に問い直し、定性的な(=数値よりも背景や意味を重視した)評価や、多角的な視点を併せ持つことが不可欠である。
Copyright© Digital Advantage Corp. All Rights Reserved.