株価のファンダメンタルズ分析を行う手法の一つとして、重回帰分析が使われることがあります。例えば、収益力や成長性、割安性などの指標を説明変数として、リターン(利益)を目的変数とするわけです。その際、どの説明変数を重回帰式に含めるとより良い予測ができるかを検討する必要があります。今回は、そのためのモデル比較の簡単な方法を紹介します。『社会人1年生から学ぶやさしいデータ分析』ベイズ統計編(第12回)です。
この記事は会員限定です。会員登録(無料)すると全てご覧いただけます。
重回帰分析をベイズ統計で行うには? 連載『社会人1年生から学ぶ、やさしいデータ分析』のベイズ統計編、第12回となる今回は、古典的な重回帰分析での「係数の有効性の検定」に代わるベイズ統計の手法として、モデル比較の方法を簡単な事例で解説します。つまり、より良い予測ができるのは、どの説明変数を含む重回帰式かを調べようというわけです。その上で、前回取り上げたパラメーターの推定や新しいデータでの予測に進むといいでしょう。
この連載では、簡単な事例を通してベイズ統計の考え方と分析の進め方を解説します。新しい用語や考え方が幾つも出てきますが、全てを理解しなくても大丈夫です。登場するたびに、分かりやすく丁寧に説明するので、その時点で分からないことがあっても気にせず、先に進んでください。回を追うごとに、少しずつ理解が深まります。どんな考え方で、どんな手順で分析を進めるのか、といった大きな流れを捉えてください。
この連載では、データをさまざまな角度から分析し、その背後にある有益な情報を取り出す方法を学ぶ『社会人1年生から学ぶ、やさしいデータ分析』シリーズの「記述統計と回帰分析編」「確率分布編」「推測統計(区間推定編・仮説検定編)」に続く「ベイズ統計編」です。
これまでの推測統計を土台に、近年活用が広がっているベイズ統計の考え方と分析手順を、古典的な手法との違いを整理しながら解説します。初めての方でも無理なく理解できるよう具体例を通して進めるとともに、ベイズ的なアプローチの特徴やメリットを実感できる構成とし、「どのように考え、どう使い分けるのか」に重点を置いて解説していきます。
筆者紹介: IT系ライターの傍ら、かつて、非常勤講師として東大で情報・プログラミング関連の授業を、一橋大でAI関連の授業を担当。まだ発展途上のようだが、生成AIへの質問と回答を分野ごとにまとめ、体系的に整理、補足しつつ、さらに個別の学びを促す記述を加えた資料を一貫して作成できるツールが実用レベルで本格的に使えるようになると、書籍の概念が変わるのではないかと思ったりしている。一斉授業だったものが、ユーザーに合った個別指導のできる書籍といったイメージ。そうなると、出版社のビジネスモデルも大きく変わり、私の仕事もなくなってしまいそうだけど、まあ、そのときは、縁側でお茶でもすすりながら、庭の景色を眺めて暮らすことにしようと思う。ウチには縁側も庭もないけど。
前回は、数値で表されている「収益力」「成長性」「割安性」、ダミー変数とした「業種」を説明変数として、重回帰分析のための回帰式を立て、係数(パラメーター)の推定や新しいデータを使った予測を行いました。今回は、そもそも回帰式にどの説明変数を含めるのがいいのかを調べます。利用するデータは前回と同じ架空データ(を一部加工したもの)です。
図1 ベイズ統計による重回帰分析のモデル比較を行う今回の目的はモデル比較です。どの説明変数を含む回帰式を選択すればいいのかを調べようというわけです。上の例で、数値で表されている3つの説明変数(以下、単に数値変数と呼びます)の組み合わせだけでも、以下のような回帰式が考えられます。定数項をα、各係数をβ0〜β2とし、収益力をx0、成長性をx1、割安性をx2とすると、
の8個になります。さらに業種を表す4つのダミー変数x3,x4,x5,x6も加えた組み合わせを考えると、とんでもない個数になります。一般に、説明変数の候補がn個あれば、考え得る回帰式の個数は2n個になります。
それら全てについてサンプリングを行うにはあまりにも処理時間がかかり過ぎるので、図1に示した3つのモデルのみを考えることにします。それらの回帰式を抜き出してみると、
となります。γ0〜γ3はダミー変数の係数です。実は、この3つのモデルを候補として選択することが妥当かどうかについては、疑問符が付くのですが、それついては後のコラムなどやサンプリングのための関数を定義した後でまた触れることとして、まずはモデル比較の手順を見るために、モデル0〜モデル2の例でやってみます。
サンプリングを行わず、数値計算による積分値の近似計算を行えば、かなり処理時間を短縮できます。JASPなどの統計パッケージではその方法が使われています(ただし、JASPではPSIS-LOOではなく、ベイズ因子によるモデル比較が行われます)。
では、ここまでの前提を踏まえて、モデルの定義、サンプリングの実行、PSIS-LOOによるモデルの比較をステップバイステップで見ていきましょう。LOO(Leave-One-Out)とはモデルの予測性能を評価するための手法の一つです。具体的には、1つのデータを検証用として除外し、残りのデータで学習(サンプリング)を行います。その操作を全ての組み合わせについて繰り返す(交差検証を行う)ことによってモデルの評価を行います。ただし、実際にその処理を実行するにはかなりの時間がかかります。
今回利用するPSIS-LOO(Pareto Smoothed Importance Sampling LOO)は、1回のサンプリング結果から近似的にLOOの計算を行う方法です。ちょっと難しそうなイメージがありますが、実際には簡単な関数を呼び出すだけで計算ができます。……が、それはもう少し先の話なので、まずは分析に使うデータを確認するところからスタートしましょう。
分析に使うデータは前回のものと同じです。ただし、同じ前処理を行うのは面倒なので、前処理済みのデータを使うことにしましょう。サンプルファイルを開いてみてください。Google Colaboratoryの画面が表示されます。最初のコードセルをクリックして[Shift]+[Enter]キーを押せば、サンプルデータが読み込まれ、説明変数と目的変数とに分けられます。
import pandas as pd
# URLの指定
url = "https://raw.githubusercontent.com/Gessys/bayes/main/12.xlsx"
# データを読み込む
df = pd.read_excel(url, sheet_name="Sheet1", skiprows=2)
# 説明変数の列名を作成しておく
ZI_labels = ["収益力_ZI", "成長性_ZI", "割安性_ZI"] # 業種内で標準化した数値変数
ind_labels = ["不動産", "小売", "製造業", "金融"] # ダミー変数
# 説明変数の値
ZI_num = df[ZI_labels] # 業種内で標準化した数値変数
X_ind = df[ind_labels] # ダミー変数
# 目的変数
y_label = ["リターン"]
y = df[y_label].squeeze() # Seriesにする
df.head() # 確認しておく
リスト1では、説明変数を区別しやすくするため、前回のコードとは異なる変数名を使っているものもあります。リスト1を実行すると、サンプルデータの5行目までが表示されるので、項目と変数名の対応を確認しておいてください(図2)。
図2 前処理済みのデータ(先頭から5行分)前回、ファンダメンタルズ分析では、業種によって収益力などの数値変数の水準が異なることがあるというお話をしました。ということは、収益力、成長性、割安性という数値変数には業種の影響が含まれているものと考えられます。業種のダミー変数も説明変数に加えるなら、業種の影響が重複することになってしまいます(後のコラムでもそのことが示唆されています)。
そこで、数値変数に含まれる業種の影響を軽減するために、数値変数を全体で標準化するのではなく、業種内で標準化することにしましょう。そうすれば、どの業種でも数値変数の平均が0、標準偏差が1に近い値となり、規模やばらつきがそろえられるからです。サンプルデータに含まれる収益力_ZI、成長性_ZI、割安性_ZIという項目の値は、あらかじめ業種内で標準化しておいた値です。
モデルの選択に当たっては、考え得るモデルを全て網羅するよりは、これまでの経験や観測したデータの性質から候補とするモデルをある程度絞り込んでおくのが合理的です。特に、ファンダメンタルズ分析においてはこれまでの経験が生かせるものと思われます。また、分析に移る前に、観測値をよく見ておく必要もあります。それに関して、要約統計量や相関係数、VIFなどを求めるコードをサンプルファイルに含めておきました。ぜひ、コードを実行して、データにどのような特徴があるかを確認しておいてください。大まかなイメージとしては、以下のようになっています。ただし、データは架空のものなので、現実の傾向とは異なるかもしれません。
どのようなモデルを候補とするかについては、後でまた触れることにします。
モデルの定義からサンプリングまでの流れは、これまでと全く変わりません。今回の例ではモデルが3つあるので、その流れを3回繰り返すことになります。モデルが異なるだけで、処理の流れはほとんど同じなので、モデルの定義からサンプリングまでの処理を関数にまとめ、呼び出せるようにしておきましょう(リスト2)。
import pymc as pm
# サンプリングを行うための関数(モデルを指定できるようにする)
def fit_pymc(ZI_num, X_ind, y, model_id):
with pm.Model() as model:
# 定数項
alpha = pm.Normal("alpha", mu=0, sigma=10)
# 数値変数の係数
beta = pm.Normal("beta", mu=0, sigma=1, shape=ZI_num.shape[1])
# 業種ダミーの係数
gamma = pm.Normal("gamma", mu=0, sigma=1, shape=X_ind.shape[1])
# 観測値のばらつき(標準偏差)
sigma = pm.HalfNormal("sigma", sigma=10)
# 期待値(モデルによって回帰式を変える)
if model_id == 0: # 帰無モデル
mu = alpha
elif model_id == 1: # 数値変数のみのモデル
mu = (alpha
+ pm.math.dot(ZI_num, beta)
)
else: # 数値変数とダミー変数のモデル
mu = (alpha
+ pm.math.dot(ZI_num, beta)
+ pm.math.dot(X_ind, gamma)
)
# 尤度関数
obs = pm.Normal("obs", mu=mu, sigma=sigma, observed=y)
# サンプリング
idata = pm.sample(draws=4000, chains=2, random_seed=42, progressbar=False, target_accept=0.9,
idata_kwargs={"log_likelihood": True})
return idata # idataを返す
モデルの定義方法は前回とほぼ同じです。引数として数値変数とダミー変数、目的変数を個別に与えることにしています。model_idを指定して、この関数を呼び出し、それぞれの返り値を記録しておけば、モデル比較のためのデータが作成できます。引数のmodel_idには0(帰無モデル)、1(数値変数のみ)、2(数値変数とダミー変数)という値が指定できます。
ここで定義したfit_pymc関数は、この事例に特化した場当たり的なコードになっています(モデル比較の手順を分かりやすくするためです)。さらに、モデルの候補として項目の組み合わせを自由に指定できる関数にすれば、汎用(はんよう)性が高まります。例えば、上のコラムで見たような数値変数の性質の違いを考慮すると、「収益力」「成長性」「割安性」のそれぞれの組み合わせ(23=8通り)のモデルと、それらにダミー変数をひとまとめにして付加したモデル(7通り)の計15通りを考える方が合理的です。そこで、項目の組み合わせを自由に選べるようにし、それらのモデルの比較ができるコードを【参考】としてサンプルファイルに含めてあります。興味のある方は参照してみてください(実行すると15通りのモデルの一覧表示と比較ができます)。ただし、以下のモデル比較まで一通りやってみた後で見た方が分かりやすいと思います。
では、リスト2を実行して次に進みましょう(リスト2は関数を定義しているだけなので、実行しても何も表示されません)。
後はサンプリングを行ってモデルを比較するだけです。以下のリスト3で、各モデルごとにfit_pymc関数を呼び出し、その結果を記録していきます。それらの記録を基に、モデル比較を行います。
import arviz as az
idatas = {} # 各モデルのサンプリング結果を記録するための辞書
for model_id in range(0, 3): # 各モデルについて
# サンプリングを行い、その結果を保存する
idatas[model_id] = fit_pymc(ZI_num, X_ind, y, model_id)
# PSIS-LOOによる比較を行う
compare_dict = {"M0": idatas[0], "M1": idatas[1], "M2": idatas[2]}
cmp_loo = az.compare(compare_dict, ic="loo")
cmp_loo
モデル比較のコードを最も簡単な形で書くならaz.compare(idatas)となります。ただし、そのままだと、結果の行見出しがmodel_idの0、1、2という値になります。ここでは、"M0"、"M1"、"M2"という見出しを付けるためにcompare_dictという辞書にそれぞれのキーとサンプリング結果のペアを登録し、それをarviz.compare関数に指定しています。
モデル比較の評価方法としては、LOOの他にWAIC(Watanabe-Akaike Information CriterionまたはWidely Applicable Information Criterion)と呼ばれるものがあります。引数icに"waic"を指定するとWAICでの評価が行われますが、現在では"loo"が推奨されています。デフォルトは通常"loo"となっています(引数の詳細については、後の「今回使った新出のクラス・関数・メソッド」を参照してください)。
リスト3の実行結果は以下の通りです(図3)。elpd_looの値が最も大きいモデルが最良のモデルで、先頭の行(rankが0の行)に表示されます。
図3 PSIS-LOOによるモデル比較の結果ELPD(elpd_looの列の値)は、未知のデータに対するモデルの予測性能を表す値で、値が大きいほど良い予測ができることを表しています。従って、この実行結果を見ると、モデル2(業種内で標準化した数値変数+業種ダミー変数)が最良のようです。といっても、モデル1(数値変数のみ)とそれほど差はありません。
さらに、図3の結果を可視化しておきましょう。arviz.plot_compare関数にPSIS-LOOによる比較の結果(cmp_loo)を指定するだけです(リスト4)。
import matplotlib.pyplot as plt
az.plot_compare(cmp_loo)
plt.show()
リスト4の実行結果は図4のようになります。
図4 PSIS-LOOによるモデル比較の結果を可視化した例最初に、PSIS-LOOは、全ての組み合わせの交差検証を行うのではなく、1回のサンプリング結果を基に近似値を求める手法であるというお話をしました。その近似計算がうまくできているかどうかが出力結果のwarningの欄に表示されます(Falseなら問題なし)。そのために使われる診断方法はPareto k診断と呼ばれるもので、特定の観測値がモデルの推定に強く影響している場合、それを除外して得られた事後分布が大きく変化するかどうかを調べます。一般に、Pareto kの値が0.7を超える観測値がある場合に、近似の信頼性に問題があるものとみなされます。以下のリスト5は、そのような観測値の個数を求めるためのコードです。
for model_id, idata in idatas.items():
loo = az.loo(idata, pointwise=True)
# Pareto kの値が0.7より大きい回の数を求める(0ならelpd_looなどの値が信頼できる)
print(f"{"M"+str(model_id):s}: {(loo.pareto_k > 0.7).sum():d}")
# 出力例:
# M0: 0
# M1: 0
# M2: 0
リスト3で見たarviz.compare関数はPSIS-LOOの結果を比較するために使いますが、リスト5のarviz.loo関数はPSIS-LOOの結果を個別に求めるためのものです。pointwise=Trueを指定すれば、観測値ごとに評価結果が返されるので、そのpareto_k属性の値を調べると、近似がうまくいっているかどうかが分かります。一般に、pareto_k属性の値が0.7を超えたものがあると、近似がうまくいっていないものとみなされます。
ちなみに、上のリストには掲載していませんが、arviz.loo関数の返り値に含まれるloo_i属性の値を見れば、モデルから予測しづらい観測値を見つけることができます。loo_i属性は、その観測値を除外して、残りの観測値から推定したモデルで、除外した観測値をどの程度うまく予測できるか、ということを表しています。loo_i属性の値が他の観測値と比べて相対的に小さい場合は、その観測値を予測しづらいということになります。それにより、外れ値やモデルの問題点などを見つける手がかりが得られます。
ここでは、数値変数に含まれる業種の影響を軽減するために業種内での標準化を行いました。さらに、業種による違いをモデル内で適切に取り扱う方法としては、階層ベイズモデルというアプローチも有力です。階層ベイズモデルでは、例えば、業種全体の定数項と係数を定義した上で、業種ごとに定数項と係数を変数として扱います。これについても【参考】としてサンプルファイルにコードを含めておきます。コードをそのまま実行すると、定数項のみを階層化した場合のモデル比較ができます。リスト3で見た最初の3つのモデルと、サンプルファイルのコードで定数項のみを階層化したモデルの場合であれば、階層ベイズモデルが最良となることが分かります(業種ごとに定数項が異なることから、業種によってリターンの水準が異なることが示唆されます)。といっても、結果(elpd_looとseの値)を見ると、標準偏差の範囲に重なりがあるので、明確に差があるとは言えません。このことはリスト4をもう一度実行すると可視化できます。また、モデルの複雑さに対してサンプルサイズが小さいなどの(その他さまざまな)原因により、サンプリングが不安定になっているという警告(divergences)が表示されます。残念ながら、結果はあまり信頼できないと考えた方がいいでしょう。
PSIS-LOOによるモデル比較は、予測性能を比較することにより、より良いモデルを選択しようというものでした。一方、ベイズ因子によるモデル比較も考えられます。こちらは、いわばデータがどのモデルを支持するか、というモデルの相対的な尤(もっと)もらしさを求めるというものです。手順としては、複数のモデルに対して、SMCサンプリングにより周辺尤度を求め、モデル同士の周辺尤度の比(ベイズ因子)を求めて比較するだけです。この方法については、連載の中ですでに何度か取り組んできました。例えば、第7回では、対応のあるデータについて平均の差をベイズt検定で調べるために、帰無モデルと対立モデルを比較しました。今回は、帰無モデル、数値変数のみのモデル、数値変数+ダミー変数のモデルの3つを互いに比較します。
これについても、まず、異なるモデルに対応してSMCサンプリングができる関数fit_smcを作成しておきます。また、SMCサンプリングの結果から対数周辺尤度の値を取得し、その平均を返す関数extract_log_mlも作成しておきます(リスト6)。
import numpy as np
from scipy.special import logsumexp
import pymc as pm
def fit_smc(ZI_num, X_ind, y, model_id):
with pm.Model() as model:
# 定数項
alpha = pm.Normal("alpha", mu=0, sigma=10)
# 数値変数の係数
beta = pm.Normal("beta", mu=0, sigma=1, shape=ZI_num.shape[1])
# 業種ダミーの係数
gamma = pm.Normal("gamma", mu=0, sigma=1, shape=X_ind.shape[1])
# 観測値のばらつき(標準偏差)
sigma = pm.HalfNormal("sigma", sigma=10)
# 期待値(モデルによって回帰式を変える)
if model_id == 0: # 帰無モデル
mu = alpha
elif model_id == 1: # 数値変数のみのモデル
mu = (alpha
+ pm.math.dot(ZI_num, beta)
)
else: # 数値変数とダミー変数のモデル
mu = (alpha
+ pm.math.dot(ZI_num, beta)
+ pm.math.dot(X_ind, gamma)
)
# 尤度関数
obs = pm.Normal("obs", mu=mu, sigma=sigma, observed=y)
# サンプリング
idata = pm.sample_smc(draws=4000, chains=2,
random_seed=42, progressbar=False)
return idata
# 対数周辺尤度の平均を求めるための関数
def extract_log_ml(idata):
# 対数周辺尤度の値を取得する
v = idata.sample_stats.log_marginal_likelihood.values
# 最後の値を取り出す
log_ml_array = v[:, -1].astype(float)
# 対数周辺尤度の平均を返す
return(logsumexp(log_ml_array) - np.log(len(log_ml_array)))
pymc.sample_smc関数の返り値に含まれる対数周辺尤度は、以下のような配列の最後の要素となっています(チェーン数が2の場合の例です)。
[[nan nan nan nan np.float64(-174.45182519865125)]
[nan nan nan nan np.float64(-174.45355796062213)]]
extract_log_ml関数は、それらの値(上の例なら-174.451...と-174.453...)を取り出し、平均を返します。ただし、これらの値は対数なので、単純に算術平均を取ると正確な値ではなくなります。そのため、指数関数の値を求めて、その平均を取り、また対数に戻すという計算が必要になります。それが、logsumexp(log_ml_array) - np.log(len(log_ml_array))というコードです。このことについては、こちらで簡単な例を使って解説しています。もっとも、取り出された値がごく近い値であれば、単純に算術平均を取ってもそれほど問題はありません。
実は、サンプリング結果に含まれる対数周辺尤度の配列は場合によって形式が異なることもあります。そのような場合、リスト6のextract_log_ml関数で単純に最後の要素を取り出すだけではエラーとなってしまいます。そのため、サンプルファイルには形式が異なる場合にも対応したコードを含めてあります(ただし、本筋からは外れるので解説は加えていません)。
作成した関数の説明がちょっと長くなりましたが、次に進みましょう。リスト6は関数の定義だけなので、実行しても特に何も表示されません。リスト6で定義した関数を呼び出してモデル比較を行いましょう(リスト7)。
log_ml = {} # 各モデルの対数周辺尤度を記録するための辞書
for model_id in range(0, 3): # 各モデルについて
# サンプリングを行い、対数周辺尤度を求める
log_ml[model_id] = extract_log_ml(fit_smc(ZI_num, X_ind, y, model_id))
# ベイズ因子を求める
for a, b in [(1, 0), (2, 1), (2, 0)]:
logBF = log_ml[a] - log_ml[b]
print(f"log BF_{a}{b} = {logBF:.3f}")
# 出力例:
# log BF_10 = 7.696
# log BF_21 = 0.116
# log BF_20 = 7.813
ここでは、リスト3の結果と対比するために、帰無モデル、業種内で標準化した数値変数ZI_numのみのモデル、ZI_numとダミー変数X_indのモデルを候補として比較しています。
結果のlog BF_10の値(7.696)を見ると、モデル1(標準化した数値変数)が、モデル0(帰無モデル)よりも支持されることが分かります。また、log BF_20の値(7.813)から、モデル2(標準化した数値変数+ダミー変数)も、モデル0よりも支持されることが分かります。log BF_21が0.116なので、モデル2が最良ではありますが、モデル2とモデル1の差はほとんどありません。ちなみに、Jeffreys(1961)の評価尺度に照らし合わせてみると、対数ベイズ因子が4.6よりも大きい場合「決定的な証拠となっている」ものとされます。
PSIS-LOOによるモデル比較とベイズ因子によるモデル比較とでは、観点が異なっていますが、今回の例ではいずれの場合も結果は一致しています(一致しないこともあります)。
今回は、重回帰分析のモデル選択を行うための評価方法として、予測性能に注目したLOO(PSIS-LOO)という手法と、観測値がどちらのモデルから得られることが尤もらしいかを比較するためのベイズ因子を利用した手法を紹介しました。
次回は、ベイズ統計で分散分析を行う方法を紹介します。この連載の第6回で、2群の平均値の差についてベイズ検定を行いましたが、次回は3群以上で平均値に差があるかどうかを調べます。事例として「人は他者の意見にどれぐらい引きずられるか?」という例を取り上げます。次回もどうぞお楽しみに!
引数も主なものだけを掲載します。引数に「=値」と書かれたもの(例:ic=None)は既定値を表します。
※arviz.InferenceData形式のデータとしては、通常、pymc.sample関数の返り値を指定する。pymc.sample関数の返り値にはlog_likelihoodが含まれている必要がある。
Copyright© Digital Advantage Corp. All Rights Reserved.