数学ができると「数学ができないエンジニアはダメだ」の効果が計れる：「数学をもっと勉強しよう」と思った？（2/3 ページ）

[久保長礼（Wantedly），＠IT]

A／Bテストをする

　Facebookは毎日変わっています。

　最近では、Facebook Messengerに期間制限付きのメッセージを送る機能ができたり、セルフィーが簡単に取れるUIに変わったりしたことが、話題になりました。PCの投稿フォームやアプリのユーザープロフィール画面などの目立たないところも、UIの微調整がされています。

　なぜ毎日機能が変わっているのかというと、テストをしているからです。

　Aという機能とBという機能の両方を半々のユーザーに表示して、どちらの機能が良いかを試しているのです。

　テストは最小限で行います。ある機能を実験的に少ないユーザーに表示して、分かったことをたくさんのユーザーに公開して、サービスが良くなっています。

　では、テストはどのように行われているのでしょうか。

1. テストする項目を決める

　「記事のタイトルを変えると、効果がどのように替わるのか」を考える手順を説明します。

　仮の話として、本記事のタイトルを「A　エンジニアに数学は必用か」と「B　数学ができないエンジニアはダメだ」のどちらにした方が効果が高いのかを考えます。

2. 効果を判断する指標を決める

　テストをするには、まず「判断するための数字」を決め、その後、判断に必要な「ユーザー」と「テスト実施期間」を決めます。

　判断する数字を決めるには、サービスを理解した上で「指標」を決めます。本記事が「成功したと判断するための指標」は、以下のようなものが考えられます。

• 記事のPV（アクセス数）
• 記事を読んだ人のソーシャルでの反応（FacebookのLike数、Tweet数など）
• 記事を読む時間
• 数学をもっと勉強しようと思った人の数

3. 前提条件を設定する

　次に「前提条件」を設定します。

　目的の前提を、「PV」はたくさん欲しいが、達成したいことは「数学をもっと勉強しようと思った人の数」だとします。

　細部の前提は、以下のように設定します

• ＠ITのTOPページなどで表示する本記事へのリンク回数は、AもBも5000回ずつとする
• リンクがクリックされた数と、クリックした人がシェアしてシェア経由で流入した数をPVとする
• 「数学をもっと勉強しようと思った人の数」は、Twitterで本記事を読んでポジティブに反応している人の数と定義する

4. 測定する

　テストの結果、以下の数字が測定できたとします。

• A：PV「1000」、数学をもっと勉強しようと思った人の数「12人」
• B：PV「1500」、数学をもっと勉強しようと思った人の数「10人」

　表にしてみましょう。

指標	A	B	AとBの比較
リンクの表示回数	5000	5000	.
PV	1000	1500	66.67％
数学をもっと勉強しようと思った人の数	12	10	120.00％

　PVはBの方が1.5倍多かったが、数学をもっと勉強しようと思った人の数はAの方が1.2倍多かった。最終的に達成したい目的が「数学をもっと勉強しようと思った人の数」なので、「Aの方が効果が高い」ことが分かりました。