AWSがFacebookとPyTorchのモデルサーバライブラリTorchServeを開発、トヨタのTRI-ADも採用：モデルの本番利用を容易に

Amazon Web Services（AWS）は2020年4月21日（米国時間）、Facebookと協力し、PyTorchによる機械学習モデルの本番活用を容易にするモデルサーバを開発したと発表した。Toyota Research Institute Advanced Development（TRI-AD）も採用しているという。

[三木泉，＠IT]

　Amazon Web Services（AWS）は2020年4月21日（米国時間）、Facebookと協力し、PyTorchプロジェクトでモデルサーバライブラリを開発したと発表した。トヨタグループで自動運転関連の技術開発を行うToyota Research Institute Advanced Development（TRI-AD）は、これを採用しているという。

　一方、PyTorchプロジェクトは、最新リリースのPyTorch 1.5に、これを実験的機能として組み込んだと発表している。

　PyTorchは、Facebookが開発をリードしてきたオープンソースソフトウェア（OSS）の機械学習ライブラリ。GitHubにおける説明によると、TorchServeの目的は、同ライブラリの本番利用における次のような課題を解決することだという。

• PyTorchモデルをホストする高性能なWebサーバコンポーネントの構築は難しく、経験と知識が求められる
• 本番サービス中のモデルにカスタムの事前処理や事後処理を追加するにはモデルサーバ自体に大幅な手直しが必要
• 複数のアクセラレータをサポートするには、追加の作業が必要
• モデルサーバのカスタマイズには、既存のサービスフレームワーク自体の理解が必要で、大幅な手直しが必要になる

　AWSのジュリエン・シモン氏によると、「TorchServeを使用することで、カスタムコードを書くことなく、モデルをより迅速に本番環境へ導入できる。このモデルサーバは低遅延の推論APIを提供すると共に、物体認識やテキスト分類など、一般的なアプリケーションのためのデフォルトハンドラを組み込んでいる」。

　また、TorchServeには、複数モデルのサービング、A/Bテストのためのモデルバージョニング、監視メトリクス、アプリケーション統合のためのRESTfulエンドポイントといった機能があるという。

　AWSのTorchServe発表ブログポストは、TRI-ADの次のようなコメントを掲載している。

　「当社では、AWS上でPyTorchを使ってモデルをトレーニングしているが、これまでPyTorchにはモデル提供フレームワークがなかった。このため、PyTorchモデルを車両やクラウドサーバにデプロイするためのソフトウェアの作成と保守に、多くのエンジニアリング努力を費やしてきた。TorchServeにより、AWSとPyTorchコミュニティが公式にサポートし、メンテナンスを行っている、高性能で軽量なモデルサーバを手に入れられるようになった」