「Azure AI」のオープンソース技術を活用したアプリ構築は何がすごい？ データサイエンスタスクをより簡単に構築：より迅速かつ柔軟にインテリジェントアプリを構築

Microsoftはデジタルイベント「Azure Open Source Day」で、Microsoft AzureのAIサービスポートフォリオ「Azure AI」で提供される最新のオープンソース技術を使用して、より迅速かつ柔軟にインテリジェントアプリを構築する方法を紹介した。

[＠IT]

　Microsoftは2023年3月7日（米国時間）、デジタルイベント「Azure Open Source Day」を開催し、Microsoft AzureのAIサービスポートフォリオ「Azure AI」で提供される最新のオープンソース技術を使用して、より迅速かつ柔軟にインテリジェントアプリを構築する方法を紹介した。

　Azure AIは、「Azure Applied AI Services」「Azure Cognitive Services」「Azure Machine Learning」「Azure AIインフラストラクチャ」で構成されている。

Azure Machine Learningによるオープンソースの最先端モデルの構築、運用

　Microsoftは、Azure Machine Learningにおける基盤モデル（foundation model）のパブリックプレビュー版を近くリリースすることを明らかにした。これにより、Azure Machine Learningのコンポーネントとパイプラインを用いて、さまざまなオープンソースリポジトリから基盤モデルを入手し、微調整して展開し、データサイエンスタスクを簡単に開始できるようになると、Microsoftは説明している。

　Hugging Faceのリポジトリで提供される基盤モデルが最初に利用可能になる。Hugging Faceは、機械学習（ML）モデルを構築するための最先端のオープンソースライブラリ「Transformers」の作成企業。

　新サービスでは、自然言語処理、ビジョン、マルチモダリティなど、さまざまなタスク用の人気のオープンソースモデルの包括的なリポジトリを、Azure Machine Learningのビルトインレジストリを通じて利用できるようになる。

Azure Machine Learningで利用可能になるHugging Faceの基盤モデル（提供：Microsoft）

次世代の「Azure Cognitive Services for Vision」

　Microsoftは、新しい大規模基盤モデル「Florence」により、「Azure Cognitive Services for Vision」で次世代機能が利用可能になると発表した。Azure Cognitive Services for Visionは、画像や動画の内容を特定、分析するサービス。Florenceは、数十億のテキスト／画像ペアでトレーニングされているため、数ショット学習により、Azure Cognitive Services for Visionで画像キャプション機能が大幅に改善される他、これまでより格段に効率的にカスタマイズができるという。

Azure Cognitive Services for VisionでFlorenceモデルを用いて動画を要約（提供：Microsoft）

「責任あるAIツールキット」の新ツール

　Microsoftは最近、「責任あるAIツールキット」への2つのオープンソースツールの追加を発表した。責任あるAIツールキットは、機械学習モデルの動作に関する深い分析情報を得て、公平性とエラーを検出し、より責任のある機械学習プログラムの構築方法を見つけられるようにすることを目的としている。「Fairlearn」「InterpretML」「Error Analysis」などのツールを含んでいる。

　同ツールキットに追加されたツールは、「Responsible AI Mitigations Library」と「Responsible AI Tracker」。Responsible AI Mitigations Libraryは、データの前処理で発生する不具合を管理する手段を提供し、エラーや公平性の問題の緩和を推し進める。Responsible AI Trackerは、モデルのイテレーションにおけるデータのサブセットのパフォーマンスを調べることができ、展開に最適なモデルを判断するのに役立つ。

Responsible AI Trackerで、複数のイテレーションにおけるモデルのパフォーマンスを赤と緑で可視化（提供：Microsoft）

Azure AIインフラストラクチャによる大規模AIの加速

　Azure AIインフラストラクチャは、極めて高度なAIワークロードの大規模なスケールアップおよびスケールアウト機能を提供する。Microsoftのパートナーの非営利組織OpenAIなど、AIを手掛ける主要な企業や組織がAzure AIを利用して、AIイノベーションに取り組んでいると、Microsoftは述べている。

　Azure AIインフラストラクチャは、Azure Machine LearningのようなエンドツーエンドのマネージドMLプラットフォームとともに使用すると、組織が大規模AIモデルの管理とオーケストレーションを効率化し、これらのモデルを本番稼働させるために必要な、膨大なコンピューティング能力を提供するとしている。

PyTorchモデル開発の加速に最適化されたトレーニングフレームワーク

　Microsoftは、Azureが、広く普及したオープンソースMLフレームワーク「PyTorch」に適したプラットフォームであることを強調した他、2022年10月に発表した「Azure Container for PyTorch」（ACPT）の特徴を紹介した。また2023年3月に、ACPTに新コンポーネント「Nebula」を導入することを明らかにした。

　ACPTは、PyTorchの最新版と、「DeepSpeed」や「ONNX Runtime」など、トレーニングや推論のための最適化ソフトウェアが、Azure向けにテスト、最適化された状態で導入されているコンテナだ。

　Microsoftによると、ACPT内で構成されたONNX RuntimeやDeepSpeedのような最適化ライブラリは、さまざまなHugging Faceモデルで見られる通常のPyTorchワークロードの本番環境での速度を、54〜163％向上させる。

ACPTが通常のPyTorchワークロードの本番環境での速度を54〜163％高速化（提供：Microsoft）

　Nebulaは、PyTorchによる分散大規模モデルのトレーニングジョブにおいて、チェックポイントの保存を既存ソリューションよりも高速化する。

　中規模のHugging Face GPT2-XLチェックポイント（20.6GB）の保存において、Nebulaは、シングルチェックポイントにかかる時間を96.9％短縮した。

　Nebulaは、チェックポイントの保存時間を数時間から数秒に短縮できるので、大規模トレーニングジョブでチェックポイントを頻繁に保存したり、エンドツーエンドのトレーニング時間を短縮したりするためのソリューションを提供する。

GPT2-XLによるシングルチェックポイントにかかる時間をNebulaが96.9％短縮（提供：Microsoft）

MLflow 2.0とAzure Machine Learning

　「MLflow」は、実験からデプロイまで、機械学習の完全なライフサイクルのためのオープンソースプラットフォームだ。Microsoftは、新バージョンの「MLflow 2.0」を2022年11月にリリースしたことを紹介した。MLflow 2.0は、データサイエンスやMLの運用ワークフローのプラットフォーム体験を簡素化する。Azure Machine Learningのワークスペースでもサポートされている。