5分で分かるディープラーニング（DL）：5分で分かるシリーズ（2/2 ページ）

ディープラーニング（深層学習）をビジネスで活用したい人に向け、最新技術情報に基づき、深層学習の概要、ニューラルネットワークの仕組み、深層学習の代表的な手法としてコンピュータビジョン向けのCNN／GAN、および自然言語処理向けのRNN／Transformer（BERT／GPT）の概要を、5分で読めるコンパクトな内容で紹介。最後に、次の一歩を踏み出すための参考情報もまとめる。

[一色政彦，デジタルアドバンテージ]

4分 ―― 深層学習（DL）の代表的な手法　パート2（自然言語処理）

RNN（再帰型ニューラルネットワーク）／LSTM

　気温などの連続データから明日の気温を予測する時系列分析（人工知能編を参照）などに使われる手法として最も有名なのがRNNです。RNNは連続的な系列データを入力できるので、他には、単語が連続して文章となるテキストデータからポジティブか／ネガティブかを判定する感情分析（自然言語処理の認識）に使われたり、テキストデータから新しいテキストを作成するテキスト生成（自然言語処理の生成）に使われたりします。

図5　RNNのイメージ

　RNNは、再帰構造を持つニューラルネットワークであり、それが繰り返しつなげられて使われます。その繰り返し処理を時間軸方向に展開すると図5のように表現できます。この特徴のおかげで、テキストのように長くて、しかもその長さが決まっておらず、順番もあるデータも処理できるというわけです。

　RNNにも発展版があり、その中でもRNNの勾配消失問題を解決したLSTM（長-短期記憶）というネットワーク構造が有名です。しかし2017年にグーグルが論文『Attention Is All You Need』（注意機構が必要な全てだ）を出したことで、自然言語処理の主役はTransformerに移りました。

Transformer（BERT／GPT）

　最近では、Transformerと呼ばれる手法が自然言語処理でよく使われ、大きな成果を出しています。Transformerをベースに、グーグルが考案したBERTや、OpenAIが考案したGPT（GPT-2／GPT-3など）が特に有名です。2021年以降、日本語のTransformerモデルも多数公開されてきています。また、Transformer技術をコンピュータビジョンに応用したVision Transformerが登場するなど、自然言語処理にとどまらない人気となっています。

図6　Transformerのイメージ

　Transformerのネットワーク構造は、エンコーダとデコーダという2つの部分に分けられます。どちらにも自己注意機構があるのがポイントです。なお注意（Attention）とは、データのどこに注目するかを表現するための仕組みです。デコーダ内で、例えば次以降の文字（未来の情報）をマスクして隠しながら「この単語が来たら、この訳語を使う」と順次学習していくことで、日本語に対応する英語の文章を生成できるモデルが出来上がります。

5分 ―― まとめと、次の一歩のための参考情報

図7　深層学習（DL）に関するお勧め資料

深層学習をより詳しく学ぶには

　［1分］〜［2分］では、深層学習の概要と、ニューラルネットワークの仕組みを説明しました。

　より詳しく学びたい場合は、機械学習編で紹介した『機械学習・ディープラーニングのしくみと技術がこれ1冊でしっかりわかる教科書』（2019年）を押さえた上で、ジョン・D・ケレハー著の『ディープラーニング』（2020年）をお勧めします。翻訳書ですが、原書の英語版は高評価です。文章中心の、小さめの本です。わずかながら数式も出てきますが、平易に書かれています。もし理解できない数式があっても読み飛ばせば問題ない内容です。

　より厳密に学ぶなら、数式から意味を読み解くしかありません。数学を忘れてしまっている場合は、数式が出るたびに懇切丁寧な説明がある『高校数学からはじめるディープラーニング　初歩からわかる人工知能が働くしくみ』（2020年）がお勧めです。新書サイズで手軽に読めて比較的安価なのもポイントです。挙動をExcelで試せます（Win＆Mac対応）。

　類書に『高校数学でわかるディープラーニングのしくみ』（2019年）もあります。図が多くて見やすいですが、高校数学の知識はある程度必要になると思います（Windows 10のみ対応）。

試しながら学ぶ

　［3分］〜［4分］では、深層学習の代表的な手法を簡単に紹介しました。論より証拠で、理論を学ぶよりも、実際に動かしてみたい人も多いかもしれません。

　そんな場合は、Excelだけで作って試せる『Excelでわかるディープラーニング超入門』（2017年）と『Excelでわかるディープラーニング超入門【RNN・DQN編】』（2019年）がお勧めです。数学はExcelがやってくれます。Pythonプログラミングも不要です。

　Pythonも使える方であれば、GANやTransformer（BERT）も体験できる『人気ブロガーからあげ先生のとにかく楽しいAI自作教室』（2021年）をお勧めします。

本格的に学ぶ

　エンジニアと同じレベルで本気で学ぶのであれば、バイブルとも呼べる2冊、『ゼロから作るDeep Learning』（2016年）とイアン・グッドフェローら著の『深層学習』（2018年）をマスターするとよいでしょう。また、本サイト内の「ニューラルネットワーク入門： Pythonでニューラルネットワークを書いてみよう」も参考になると思います。

目次

1分 ―― 深層学習（DL）とは（前ページ）

2分 ―― ニューラルネットワークとは（前ページ）

3分 ―― DLの代表的な手法　パート1（コンピュータビジョン）（前ページ）

4分 ―― DLの代表的な手法　パート2（自然言語処理）（現ページ）

5分 ―― まとめと、次の一歩のための参考情報（現ページ）

「5分で分かるAI・機械学習」（5分で分かるシリーズ）