AIのトレーニング時間を60％以上短縮する新手法を開発、米大学：AIアプリの開発を加速

ノースカロライナ州立大学の研究チームが、ディープラーニングネットワークのトレーニング時間を、精度を損なうことなく60％以上短縮する「Adaptive Deep Reuse」という手法を開発した。

[＠IT]

　ノースカロライナ州立大学の研究チームが、ディープラーニング（深層学習）ネットワークのトレーニング時間を、精度を損なうことなく60％以上短縮し、新しい人工知能（AI）アプリケーションの開発を加速する「Adaptive Deep Reuse」（適応型深層再利用）という手法を開発した。

　同大学のコンピュータサイエンスの教授を務め、論文の共著者であるXipeng Shen氏は次のように述べている。

　「新しいAIツールの開発で直面する最大の課題の一つが、ディープラーニングネットワークのトレーニングだ。このネットワークがアプリケーションに関連するデータパターンを特定し、それに反応できるようにするために、多くの時間とコンピューティングパワーが必要だ。われわれはこのプロセスを迅速化するAdaptive Deep Reuseという手法を考案した。この手法を使うと、精度を落とさずにトレーニング時間を最大69％短縮できた」

どうやって高速化したのか？

　Adaptive Deep Reuseは、画像分類や動画認識に広く使われるディープラーニングネットワークである「畳み込みニューラルネットワーク」（CNN）について、個々のトレーニングに含まれる不要な計算処理を動的に特定して回避する。

一般的なCNNの構成（出典：ノースカロライナ州立大学）

　研究チームは、CNNの順伝播（でんぱ）と逆伝播のニューロンベクトルにおいて、多くの類似があることを実験的に証明した。さらに、この類似をCNNのトレーニングにおける計算処理の再利用に変換する適応的な戦略を初めて導入した。

　この戦略は、CNNのトレーニングの各段階において、さまざまに異なる精度緩和の許容度に応じて、不要な計算をその場で識別し、回避するというものだ。その結果、トレーニングの時間を短縮できるという。

3種類のネットワークで性能を検証

　研究チームは、ディープラーニングの研究でテスト用に広く使われている3つのディープラーニングネットワーク（CifarNet、AlexNet、VGG-19）を用いて、Adaptive Deep Reuseの効果を測定した。

　その結果、Adaptive Deep Reuseを用いると、AlexNetでは69％、VGG-19では68％、CifarNetでは63％、それぞれトレーニング時間が短縮できた。さらにどの場合でも精度は損なわれなかった。

　今回の結果について、研究チームは、2019年4月8〜11日に中国の特別行政区マカオで開催された第35回IEEE International Conference on Data Engineeringで、「Adaptive Deep Reuse: Accelerating CNN Training on the Fly」という論文を発表している。