第3回 強化学習を簡単に調整できるDeepRacerのコンソールとシミュレーター：AWS DeepRacer入門（2/2 ページ）

DeepRacerのコンソールとシミュレーション環境の内容について解説。また、コンソール上で設定できる強化学習の各ハイパーパラメーターについても説明する。ディープラーニングや強化学習の初学者にもってこいの学習コンテンツだ。

[一色政彦，デジタルアドバンテージ]

行動空間の設定

　行動空間（Action space）とは、

• 車がどれくらいのスピードで進み
• どれくらいのステアリング（＝車の進行方向を変えるためのハンドル機構）角度で曲がるか（もしくは0度で曲がらないか）

の組み合わせにより定義される行動リスト（Action list）を自動作成するための、コンソール上の設定セクションである。具体的には図6および表1に示す設定項目がある。

図6　行動空間の設定セクション（ワークショップより）

設定項目	英語表記	デフォルト値	設定できる値
最大ステアリング角度	Maximum steering angle	30度（degrees）	1〜30
ステアリング角度の分割数	Steering angle granularity	5個	3／5／7
最大スピード	Maximum speed	1 m/s（メートル毎秒）	0.8〜8
スピードの分割数	Speed granularity	2個	1／2／3
表1　行動空間に関する設定項目の一覧

　例えば、

• 最大ステアリング角度＝10度（もしくは逆方向に-10度）
• ステアリング角度の分割数＝3段階
• 最大スピード＝1 m/s
• スピードの分割数＝2段階

のように設定すると、ステアリング角度と走行スピードの組み合わせは3段階×2段階＝6段階となり、図7のように6つの運転行動リストが自動生成される。

図7　行動空間の設定例と、自動生成された運転行動リスト

　より理解が深まるようにもう少し例を挙げておくと、ステアリング角度の分割数を例えば3段階から5段階に増やすと、-10度／0度／10度という3分割から、-10度／-5度／0度／5度／10度という5分割に変化する。

　また、スピードの分割数を例えば2段階から3段階に増やすと、0.5 m/s／1 m/sという2分割から、0.33 m/s／0.67 m/s／1 m/sという3分割に変化する、という仕組みになっている。

設定指針

　では、それぞれどのような数値を設定すればよいのだろうか。