検索

AWS DeepRacer入門

AWS DeepRacer入門

デジタルアドバンテージ 一色 政彦

ディープラーニングの強化学習で自動走行するミニロボットカー「DeepRacer」の入門連載。DeepRacerの概要から、DeepRacerでの強化学習、実際に学習&評価してバーチャルで走らせるまでの手順を紹介する。


  • 記事数 全5回【完結】 (推定学習時間 3時間)
  • チェックリスト 必須条件:
    • 知識ゼロから誰でもスタートできます。
  • ターゲット読者 こんな方にお勧め:
    • 初めてディープラーニングや機械学習を学び始めるが、楽しみながら体験してみたい方
  • ゴール 学習内容:
    • 強化学習の基礎知識が学べる
    • DeepRacerのシミュレーション環境と操作環境(コンソール)の使い方が学べる

はじめに ― 本連載の読み方

 AI・機械学習・ディープラーニングに興味があるが、とにかく何か始めて見たい人に向けて、DeepRacerの概要から、DeepRacerでの強化学習、実際に学習&評価してバーチャルで走らせるまでの手順を分かりやすく紹介する連載記事です。

 第 1 回では、ディープラーニングの強化学習で自動走行する「DeepRacer」というサービス&実機について紹介。AWS Summit Tokyo 2019で開かれた「DeepRacerワークショップ」の取材に基づき、DeepRacerの特徴や概要をまとめます。

 第 2 回では、AI・機械学習における「強化学習」の基礎知識と基本用語を、AWS DeepRacerの視点で解説。強化学習で特に重要な「報酬関数」については、重点的に説明します。

 第 3 回では、DeepRacerのコンソールとシミュレーション環境の内容について解説。また、コンソール上で設定できる強化学習の各ハイパーパラメーターについても説明します。ディープラーニングや強化学習の初学者にもってこいの学習コンテンツです。

 第 4 回では、強化学習が初めての人に最適な「AWS DeepRacerのコンソールとシミュレーション環境」を使って、ディープラーニングを体験してみます。コンソール上で強化学習の各ハイパーパラメーターを設定してモデルに学習させ、さらに評価し、バーチャルレースにデプロイするまでの手順を解説します。

 第 5 回では、「DeepRacerの勝者がどのような設定や報酬関数にしているのか」を知ってもらうために、「初めてコースを見たときに、どこに着目するか?」「ズバリ、勝つポイントは?」「報酬関数を決める方法は?」についてのパネルディスカッション内容を書き起こしました。

目次

はじめに ― 本連載の読み方

第1回 強化学習が楽しく学べる自律走行レーシングカー「AWS DeepRacer」とは?

・動画1 DeepRacerの紹介動画(AWS re:Invent 2018より)

AWS DeepRacerの概要
・実機:1/18スケールの自律走行カー
・実機:DeepRacerのスペック
・学習と評価のためのシミュレーター
・動画2 シミュレーション環境でのDeepRacerの走行例(筆者が作成したAIモデルで走行)
 - 余談:DeepRacerの学習費用
 - 余談:DeepRacerの学習時間
・世界中のレースリーグ
・動画3 アムステルダムでのDeepRacerレースリーグの様子(「AWS DeepRacer TV - Ep 1 Amsterdam - YouTube」より)

第2回 AIの強化学習の基礎を学ぼう

強化学習の概説
・人工知能とは?
・機械学習とは?
・強化学習とは?
・強化学習の参考イメージ
・強化学習の用語
報酬の概説
・強化学習における報酬
・報酬の与え方1: ゴールのみの報酬関数の場合
・報酬の与え方2: ガイドラインがある報酬関数の場合
強化学習の実践
・強化学習のトレーニングプロセス
・強化学習のトレーニングアルゴリズム

第3回 強化学習を簡単に調整できるDeepRacerのコンソールとシミュレーター

DeepRacerのシミュレーター
・シミュレーターが必要な理由
・シミュレーターの構成内容
・シミュレーターの一連の流れ
・動画1 メトリクスのグラフ表示と、車の走行映像表示の例【第1回の動画2の再掲】
AWSにおけるDeepRacerのコンソール
・DeepRacerコンソールの使い方の流れ
・行動空間の設定
 - 設定指針
・報酬関数の実装
 - 前提知識(1) コースの構成要素
 - 前提知識(2) 座標系
 - 前提知識(3) 参照点
・ハイパーパラメーターの設定&調整

第4回 手を動かして強化学習を体験してみよう(自動運転ロボットカーDeepRacer編)

初めてのDeepRacerモデルの作成と学習
・ステップ1: AWS DeepRacerコンソールを開く
・ステップ2: モデルの作成を開始する
・ステップ3: DeepRacerリソースの作成
・【参考】自動作成されるサンプルモデル
・ステップ4: モデル名と説明の設定
・ステップ5: シミュレーション環境の選択
・ステップ6: 行動空間の設定
・ステップ7: 報酬関数の実装
・ステップ8: ハイパーパラメーターの設定&調整
・ステップ9: 停止条件の設定
・ステップ10: 学習(トレーニング)の開始
・ステップ11: 学習状況の確認
 - 報酬グラフ(報酬額)
 - 報酬グラフ(完走状況)
 - シミュレーションのビデオストリーム(走行映像)
 - 停止条件:最大時間(経過時間)
・ステップ12: 学習(トレーニング)の完了
 - 学習時のジョブ内容/ログの確認
学習済みモデルの評価
・評価の設定と開始
・評価の実行
学習済みモデルの再学習
バーチャルサーキットのレースリーグ(レース大会)への参加
リソースの削除。忘れずに実行しよう!
・ステップ1: モデル作成のページを開く
・ステップ2: 関連リソースをリセットする
・ステップ3: S3バケットを削除する
・課金内容の確認について
さらなる学習コンテンツ

第5回 DeepRacerリーグ勝者に聞く「どうすれば勝てますか?」

初めてコースを見たときに、どこに着目するか?
ズバリ、勝つポイントは?
報酬関数を決める方法は?

 

 

ページトップに戻る