Salesforce、ゼロショットで多種多様な時系列予測を実現する基盤モデル「Moirai」を発表：新たな時系列予測モデルの必要性や、Moiraiが与える影響を解説

Salesforceは、時系列基盤モデル「Moirai」を発表した。複数のドメイン、頻度、変数にまたがる多様な予測タスクにゼロショットで対応できる、汎用性の高い時系列予測が可能だという。

[＠IT]

　Salesforceは2024年3月19日（米国時間）、普遍的予測を実現する時系列基盤モデル（ファウンデーションモデル）の「Moirai」を発表した。

　Moiraiにより、複数のドメイン、頻度、変数にまたがる多様な予測タスクにゼロショットで対応できる、汎用（はんよう）性の高い時系列予測が可能になると、Salesforceは述べている。

　Moiraiは、大きく分けて4つの主要な課題に取り組んでいる。

• 9つの異なるドメインにまたがる270億の観測データからなる大規模かつ多様な時系列データセット「LOTSA（Large-scale Open Time Series Archive）」の構築
• さまざまな頻度にわたる時間的パターンを単一のモデルで捉えることを可能にする、複数のパッチサイズ射影層の開発
• あらゆる変数にわたる予測を単一のモデルで扱うことを可能にする任意変量アテンション（Any-variate Attention）の実装
• 柔軟な予測分布をモデル化するための混合分布の統合

　Salesforceは、新たな時系列予測モデルの必要性、モデル構築の課題、Moiraiのアプローチ、Moiraiが与える影響を次のように解説した。

新たな普遍的予測モデルの必要性

　時系列データは、小売、金融、製造、ヘルスケア、自然科学など多くの分野に浸透している。これらの分野全体で、時系列予測は意思決定に重要な意味を持つ。時系列予測におけるディープラーニングは大きな進歩を遂げた一方、事前に定義されたコンテキストと予測長を持つ特定のデータセットに基づいてモデルを学習する従来のパラダイムが依然として主流だ。

　従来のパラダイムは、特に多数のユーザーに拡張する場合、モデルを訓練するための計算コストの面で大きな負担を強いることは避けられない。このことが、普遍的予測モデルへ移行する動機付けとなっている。

既存のパラダイムと比較すると、普遍的予測モデルは、（1）複数の頻度、（2）任意変動予測、（3）変動分布という3つの重要な問題に直面している（提供：Salesforce）

普遍的予測モデル構築の課題

　普遍的予測モデルへのパラダイムシフトは、自然言語処理（NLP）の分野の進展でもたらされた。多様なWebデータで訓練された大規模言語モデル（LLM）の構築に成功し、LLMは多種多様な下流タスク（Downstream Tasks）に対応できるだけでなく、多言語にも対応している。

　LLMの多言語対応をもたらした一つの大きな革新は、異なる言語を統一フォーマットに変換するバイトペアエンコーディング（BPE）にある。だが、NLPとは異なり、時系列予測の分野にはBPEに相当するものがないため、異なる時系列データを扱える時系列予測モデルの構築は容易ではない。

Moiraiの新しいアプローチ

　これらの課題に対処し、任意の時系列データの異質性を扱うために、従来の時系列トランスフォーマーアーキテクチャに対する新しいアプローチに取り組んだ。

• 複数の入出力投影層を学習することにより、時系列データにおけるさまざまな頻度の課題への対処を提案
• 任意変量アテンションを用いた多様な次元の問題への取り組み
• パラメトリック手法の導入による柔軟な予測分布
• オープンな時系列データセットのコレクションであるLOTSAの導入

Moiraiのアーキテクチャ（提供：Salesforce）

　Moiraiは、さまざまな領域と頻度にまたがる多様な時系列にロバストなゼロショット予測機能を提供する。大規模データの事前トレーニング能力を活用することで、この時系列基盤モデルは、1データセットにつき1モデルというアプローチからの脱却を可能にした。

　ディープラーニングモデルで正確な予測を達成するために通常必要とされる、追加データ、膨大な計算リソース、専門家の入力の必要性を排除し、下流タスクでユーザーに大きな利点を提供する。

　計算リソースとディープラーニングの専門知識の両方への依存を減らし、多変量時系列データを扱えるMoiraiは、学術界にとって重要なブレークスルーであるだけでなく、ITオペレーション、販売予測、キャパシティープランニング、エネルギー予測などに利用できるだろう、とSalesforceは説明している。