Googleは、UIとインフォグラフィックスの理解に特化した視覚言語モデル「ScreenAI」を公式ブログで紹介した。
この記事は会員限定です。会員登録(無料)すると全てご覧いただけます。
Googleは2024年3月19日(米国時間)、ユーザーインタフェース(UI)とインフォグラフィックスの理解に特化した視覚言語モデル「ScreenAI」を公式ブログで紹介した。
画面UIとインフォグラフィックスは、類似した視覚言語とデザイン原理を共有しており、人間のコミュニケーションや人間と機械のインタラクションにおいて重要な役割を果たしている。だが、複雑さや多様な表現形式から、モデリングにおいてユニークな課題が存在していた。
そこでGoogleは、ScreenAIの研究開発に乗り出した。ScreenAIは、「PaLI」(Pathways Language and Image)アーキテクチャを「pix2struct」の柔軟なパッチ戦略で改良したものだ。データセットとタスクのユニークな組み合わせでトレーニングされている。
PaLIは、視覚入力とテキスト入力に基づいてテキストを生成し、このインタフェースを用いて、多くの言語でさまざまな視覚、言語、マルチモーダルタスクを実行する多言語言語画像モデルだ。pix2structは、純粋に視覚的な言語の理解を目的とした事前トレーニング済み画像テキスト変換モデルで、言語入力と視覚入力を柔軟に統合するという。
ScreenAIのトレーニングに使用されるデータセットとタスクの組み合わせの中核を成すのは、画面上のUI要素情報(種類、位置、説明)を識別することをモデルに要求する、新しいScreen Annotation(画面アノテーション)タスクだ。
これらのテキストアノテーションは、大規模言語モデル(LLM)に画面の説明を提供し、これによってLLMは、質問応答(QA)、UIナビゲーション、画面要約のトレーニングデータセットを大規模に自動生成できる。その中には以下の例のようなタスクが含まれる。
ScreenAIのアーキテクチャは、マルチモーダルエンコーダーブロックと自己回帰デコーダーで構成されている。ScreenAIのアーキテクチャのベースであるPaLIのエンコーダーは、画像埋め込みを作成する視覚トランスフォーマー(ViT)と、画像埋め込みおよびテキスト埋め込みの連結を入力とするマルチモーダルエンコーダーを使用する。ScreenAIはこのアーキテクチャにより、テキストと画像からテキストを生成する問題として再構成可能な、視覚タスクを解くことができる。
ScreenAIはPaLIアーキテクチャ上に、pix2structで導入された柔軟なパッチ戦略を取り入れている。固定グリッドパターンを使用するのではなく、入力画像の縦横比と形状に合わせてグリッドサイズを調整する仕組みだ。これにより、ScreenAIはさまざまな縦横比の画像に対応できる。
ScreenAIモデルは、事前トレーニング段階とファインチューニング段階の2段階でトレーニングされる。まず、自己教師あり学習を適用し、データラベルを自動的に生成、ViTとLLMのトレーニングに使用する。ViTはファインチューニング段階で凍結され、この段階で使用されるほとんどのデータは、人間の評価者によって手動でラベル付けされる。
ScreenAIのファインチューニングは以下のように、公開されているQA、ナビゲーション、画面要約のデータセットと、さまざまなUI関連タスクを用いて行われる。
ChartQA、DocVQA、Multi page DocVQA、InfographicVQA、OCR VQA、Web SRC、ScreenQAなどなど、マルチモーダルや文書理解の分野で確立されたベンチマークが使用される。
Referring Expressions、MoTIF、Mug、Android in the Wild(AitW)などのデータセットが使用される。
画面要約にはScreen2Wordsが、特定のUI要素の説明にはWidget Captioningが使用される。
Googleはこれらのファインチューニングデータセットとともに、以下の3つの新しいベンチマークデータセットも使用して、ファインチューニングされたScreenAIモデルを評価した。
モバイルデバイスのスクリーンショットとそのアノテーションのペアから成る。このスクリーンショットは、一般に公開されているRicoデータセットから直接取得したもの。アノテーションはテキスト形式で、画面上のUI要素情報を含む。マルチモーダル(画像+テキスト)モデルの画面理解能力の向上に利用できる。
ScreenQAデータセットのバリエーションであり、他のQAタスクとの整合性を高めるために、関連情報のみを含むように、応答が短縮されている。ScreenQAデータセットは、Ricoデータセットのスクリーンショットに対する質問と応答を含んでいる。
ScreenQA Shortを、より難しい質問(数え上げ、算術、比較、回答不可能な質問)で補完したものであり、さまざまな縦横比の画面を含む。
以下の表のように、ファインチューニングされたScreenAIモデルは、幾つかのUIおよびインフォグラフィックスベースのタスク(WebSRCとMoTIF)で、最先端(SOTA〈State-Of-The-Art〉)モデルを上回る結果で、ChartQA、DocVQA、InfographicVQAでは、同規模モデルと比べて高いパフォーマンスを見せた。Screen2WordsとOCR-VQAでも、競争力のあるパフォーマンスを発揮した。
表の末尾の3行は、さらなる研究のためのベースラインとして導入された新しいベンチマークデータセットでの結果だ。
また、ScreenAIは全てのタスクにおいて、モデルサイズを大きくすると、パフォーマンスが向上しており、最大サイズの5B(50億)パラメータでも頭打ちになっていない。
だが、Googleは以上の結果から、ScreenAIのアプローチは、大規模モデルにまだ後れを取っており、このギャップを埋めるには、さらなる研究が必要だとの見解を示している。
Copyright © ITmedia, Inc. All Rights Reserved.