Microsoftの自然言語モデル「DeBERTa」、ベンチマークで人間を上回る記録を達成：SuperGLUEベンチマークランキングで首位に

Microsoftが最近アップデートした自然言語モデル「DeBERTa」が、自然言語理解（NLU）モデルを評価するベンチマーク「SuperGLUE」で、人間を上回る記録を達成した。今後は「Bing」「Microsoft 365」「Dynamics 365」「Azure Cognitive Services」といったMicrosoft製品をサポートする他、DeBERTaのソースコードも公開する。

[＠IT]

　Microsoftは2021年1月6日（米国時間）、最近アップデートした事前トレーニング済み自然言語モデル「DeBERTa」（Decoding-enhanced BERT with disentangled attention）が、自然言語理解（NLU）モデルを評価する高度なベンチマーク「SuperGLUE」で、人間を上回る記録を達成したと報告した。

　NLUはAIの目標として最も古いものの一つであり、SuperGLUEは現在、NLUモデルを評価するための最も先進的なベンチマークだ。SuperGLUEは質問応答や自然言語推論、共参照解決、語義曖昧性解消など、幅広いNLUタスクからなるテストだ。

SuperGLUEベンチマークとは（出典：Microsoft）

　SuperGLUEのスコアは複数のテストから算出される。例えば上図にある因果推論タスク（COPA）はこのようなテストだ。「子供が病気に免疫ができた」という前提と、「何が原因でこの病気になったのか」という質問が与えられたとき、モデルは2つのもっともらしい候補から答えを選ぶように求められる。

• 候補1 彼は病気への暴露を避けた
• 候補2 彼は病気のためのワクチン接種を受けた

　人間にとっては簡単な問題だが、AIモデルにとっては難しい。AIモデルが正解に達するには、前提と選択肢との間の因果関係を理解する必要があるからだ。

DeBERTaの性能はどの程度なのか

　Microsoftは15億のパラメーターを持つ48のTransformerレイヤーで構成されたDeBERTaの大規模バージョンをトレーニングすることで、性能を高めた。その結果、単一のDeBERTaモデルがSuperGLUEのマクロ平均スコア（89.9）が初めて人間のパフォーマンス（89.8）を上回った。

SuperGLUEベンチマークランキング（2021年1月6日時点）（出典：Microsoft）

　アンサンブルDeBERTaモデルがSuperGLUEベンチマークランキングの首位となり、人間のベースラインのスコア（89.8）を上回る90.3を記録した。同モデルは、GLUEベンチマークのマクロ平均スコアのランキングでも、90.8で首位に立っている。

DeBERTaはどのようなモデルなのか

　DeBERTaは、自己教師あり学習によって大量の生テキストコーポラで事前トレーニングされたTransformerベースの自然言語モデルだ。