バーニーおじさんのルール（Uncle Bernie's rule）とは？：AI・機械学習の用語辞典

用語「バーニーおじさんのルール（Uncle Bernie's rule）」について説明。ニューラルネットワークの重みパラメーター数の10倍以上の訓練データが最低限必要であるとする経験則を指す。

[一色政彦，デジタルアドバンテージ]

連載目次

用語解説

　機械学習におけるバーニーおじさんのルール（Uncle Bernie's rule）とは、ニューラルネットワークの重みパラメーターの数に対して、最低限その10倍以上の訓練データ量が必要となる、とする経験則のことである。訓練データの数量の目安とされるが、定理ではなく、あくまで経験則である。その出典（後述）も古く（＝最近のディープラーニングに適用できるかどうかは不明で）、数学的に証明されているわけでもないので注意が必要だ。

図1　バーニーおじさんのルールのイメージ（後述の「裏話」を参照）

　孫引用になってしまうが1990年（NIPS 1989）の論文の一節を引用すると、

Rules of thumb suggesting the number of samples required for specific distributions could be useful for practical problems.
Widrow has suggested having a training sample size that is 10 times the number of weights in a network ("Uncle Bernie's Rule")[Widrow, 1987].
特定の分布に必要なサンプル数を示唆する経験則は、実用的な問題に役立つかもしれない。
Widrow氏は、ネットワークの重みの10倍の訓練サンプル数を持つことを提案している（“バーニーおじさんのルール”）[Widrow, 1987]。［筆者による翻訳］

と説明されている（※引用文献：「Nelson Morgan and Hervé Bourlard, "Generalization and Parameter Estimation in Feedforward Nets: Some Experiments" Advances in Neural Information Processing Systems Vol. II pp.630-637, 1990.」における631ページ目）。なお、上記で引用されているWidrow氏による1987年の論文は入手できなかったため、元々の主張内容は確認できていない（※孫引用となっている元々の文献「Bernard Widrow, "ADALINE and MADALINE — 1963 plenary speech" Proc. 1st IEEE Intl. Conf. on Neural Networks, vol. 1 pp.143-158, 1987.」）。

　「バーニーおじさんのルール」に関連する情報はインターネット上に少ない。最後に、そのことに関連する裏話を補足しておこう。

「バーニーおじさんのルール」の裏話

　実はこの用語は、世界的に広く認知されている用語ではないため、上記の通り情報源が少ない。しかし、JDLA（日本ディープラーニング協会）が実施するG検定における試験問題の選択肢としてたびたび取り上げられることがあったため、それに関連する情報が日本国内では少し出回っている状況である（※ただし今後もG検定の試験問題で出題されるかは不透明である）。

　特に英語での情報がほぼ存在しないため、G検定受験者の中には「そもそもバーニーおじさんって誰？」という疑問を持つ人たちが少なからずいた。そんな中、2019年公開の、

• ブログ記事：「バーニーおじさんの正体はスタンフォード大学の教授（JDLA ディープラーニング ジェネラリスト検定） - 営業アップデート」

で、その謎に迫る調査をしていて興味深いので簡単に紹介したい。この記事では最終的に、出版社に問い合わせることで上記の孫引用部分が根拠として示され、「バーニーおじさん」とはBernard Widrow氏であることが判明している。ちなみにWidrow氏は、初期の人工ニューラルネットワーク（ADALINEやMADALINE）や逆伝播の技術などに貢献している人物である。

　このように一部でのみ認知されている用語であると思われるが、日本国内でのG検定の受験経験者は多いので、そういった人らとの会話の中で「バーニーおじさんのルール」という用語が出ることも考慮して、AI／機械学習の用語の一つとして今回取り上げてみた。

「AI・機械学習の用語辞典」