Wikipediaの記事をより正確にしたい、AIができることは？：より良い出典を見つけやすい

MetaはWikipediaの記事の正確性に役立つAIモデルを開発した。Wikipediaの記事には内容を裏付ける出典が記載されている。この出典がふさわしいものかどうかを判定し、より良い出典が提示するAIモデルだ。

[＠IT]

　Meta（Facebook）は2022年7月11日（米国時間）、Wikipediaの正確性を高めることが可能なAIモデルを開発したと発表した。Wikipedia編集者をサポートするためのAIを調査する研究プロジェクト「Side」の成果だ。

　Wikipediaの「記事」（項目）を執筆する際には、出典を明記することが必要だとされている。記事の内容に問題がないかどうかを確認でき、読者が調べ物をするときの参考になり、著作権侵害の確認にもなるからだ。

　だが、Wikipediaには英語版だけでも650万以上の記事があり、毎月1万700本以上の記事が追加されている。ある出典がその項目の内容に合致しているか、最もふさわしい出典なのかを確認することは、手間のかかる作業だ。これに対して、MetaのAIは数十万件の出典を一度に自動検証できる。

　Wikimedia財団とMetaは今回のプロジェクトで提携を結んでおらず、Wikipediaのコンテンツを自動的に更新するために利用されるものでもない。だが、テルアビブ大学の講師であり、Wikimedia財団の評議員会副議長を務めるシャニ・イヴェンスタイン・シガロフ氏は「今回の機械学習ツールを使うと、正確な引用や情報源を記事に付ける作業を効率化できるため、Wikipedia編集者の作業規模拡大に役立つ。このプロセスを改善することで、Wikipediaに新しい編集者を呼び込み、世界中の何十億という人々に、より良い、より信頼できる情報を提供できるようになる。さらに機械学習ツールがよりカスタマイズされて、多言語オプションを提供できるようになり、300以上の言語にわたるWikimediaコミュニティーに貢献できるようになれば、この分野の継続的な改善が期待できる」

何を目指したAIツールなのか

　Wikipediaの編集作業を助ける上で、意味の通らない文章や出典を欠いた文章を特定することはそれほど難しくないという。だが記事にある主張に対してその出典が実際に裏付けとなるかどうかを判断するには、より複雑なタスク、つまりAIシステムの深い理解と分析が必要だ。

　今回のAIは何十万もの引用部分を一度に自動スキャンして、それらの出典が本当に対応する主張をサポートしているかどうかをチェックできる最初のモデルだという。既にオープンソースで公開されており、検証デモもある。

　モデルの知識源として1億3400万件の公開Webページから新たにデータセットを作成して用いた。この種の研究にこれまで使われてきたものより1桁大きく、かなり複雑なものだという。疑わしい出典に注意を促し、編集者が何千もの適切に見える出典の中から手動で選択することなく、最も欠陥のありそうなケースを評価できるようにした。さらに引用部分が適切でないと考えられる場合は、より適切な出典を提案し、その主張を裏付ける具体的な文章を指摘できる。最終的には、Wikipediaの編集者が体系的に引用の問題を発見し、引用部分や出典を素早く修正したり、対応する記事の内容を修正したりできるようなプラットフォームを構築することが目標だ。

記事の内容と出典の間には微妙な関係がある

　Wikipediaの記事には出典が十分でないものもある。このような場合でも、MetaのAIは適切な出典を提示できることがある。

　例えば、米国生まれのヘビー級ボクサーであるジョー・ヒップ（Joe "The Boss" Hipp）の記事だ。MetaのAIが検証した際、この記事には彼が世界ボクシング協会（WBA）の世界ヘビー級タイトルを争う（compete）最初のネイティブアメリカンであると記されており、出典はあったものの、そこではジョー・ヒップやボクシングについては触れられていなかった。

　MetaのAIはこの出典の代わりに、Great Falls Tribune紙に掲載された2015年の記事の一節を推奨した。そこには「1989年、マービン・キャメルはキャリアの末期にブラックフィート族のジョー・ヒップと戦った。ネイティブアメリカンとして初めて世界ヘビー級王座に挑戦（challenge）したヒップは、この戦いが彼のキャリアの中で最も奇妙なものの一つだったと語っている」とある。

　この出典を取り出すために、AIは複雑な意味を解析する必要があった。新聞の一節にはボクシングについて明確な記述はなかったが、AIは「ヘビー級」という言葉などの間接的な手掛かりから文脈を推測した。さらに、トリビューン紙の記事にある「challenge」という単語が、Wikipediaにある「compete」という単語と同じ意味であることも理解できた。

MetaのAIをどのように開発したのか

　開発当初、Wikipediaの引用部分を検証し、適切な出典を探し出す仕事の規模は、高度なAIシステムにとっても手ごわいものに思えたという。チェックすべき引用文は数百万件あり、検討すべき出典も数百万件に上るからだ。さらに困難なのは、引用文の編集には人間に近い言語理解力と洞察力が必要なことだ。AIモデルが出典の主張を理解し、引用されたWebサイトから該当する箇所を見つけ、その出典が本当に記事の内容を裏付けているかどうかを予測する必要がある。

　編集者が推論と常識を使って引用部分を評価するのに対し、MetaのAIは自然言語理解（NLU）技術を適用して、出典から主張が推測される可能性を推定する。NLUでは人間の文章（または単語、フレーズ、段落）を複雑な数学的表現に変換する。開発の目的は、ある文が他の文をサポートしている（同じ意味である）かどうかを判断するためで、これらの数学的表現を比較するツールを設計した。

　1億3400万件のWebページからなるデータセットは、このシステムの主要な構成要素の一つであり、このデータセットと9億600万節を含むWebコーパス「Sphere」は、オープンソースとして公開されている。

　Sphereに含まれる数百万のWebページの中から適切な情報源を見つけるために、Metaの開発者はAIを使って膨大な情報のインデックスを作成する方法を考案した。Wikipediaに掲載済みの400万件の主張をアルゴリズムに与え、膨大なWebページの中から1つの情報源を探し出し、それぞれの主張を検証するよう学習させた。

　この検索時には、個々の単語ではなく、文全体の意味を表す数学的表現を作成し、比較する。Webページには長いテキストが含まれることがあるため、モデルはコンテンツをチャンク（塊）単位で評価し、URLを推薦するかどうかを決定する際に最も関連性の高い節のみを考慮する。他のWikipediaのインデックスに対して、約40倍のコンテンツを収録しており、今後、Sphereに追加される予定だ。

　次にインデックスが、引用元の候補を「証拠ランク付けモデル」に渡され、このモデルが新しいテキストと元の引用部分を比較する。このモデルは、詳細な言語理解を用いて、引用されたソースと検索された代替品を、記事にある主張を裏付ける可能性に従ってランク付けする。このモデルが実世界に導入された場合、最も関連性の高いURLを見込み引用元として編集者に提供し、人間の編集者が判断して承認する形になるだろう。

AIは思惑通りに動作したのか

　通常、このようなモデルを開発するためには、入力は1文か2文でよいという。Metaの開発者は、Wikipediaの複雑な文章と、その主張をサポートするWebサイトと、サポートしないWebサイトを用いてモデルを学習させた。その結果、引用の正確さを検出する性能において、Metaのモデルは飛躍的な進歩を遂げたという。

　例えば、Wikipediaにある記事「2017 in Classical Music」で、Metaのシステムは既にあるものよりも良い引用元を発見できた。この記事には「ロサンゼルス交響楽団は、2018年1月22日付でサイモン・ウッズを次期会長兼最高経営責任者に任命したと発表した」とある。

　この1文には脚注があり、ダラス交響楽団のプレスリリース（同じく2018年1月22日付の新社長兼CEOの就任を発表）にリンクしていた。記事の1文と引用元の1文の類似性が高かったにもかかわらず、Metaの証拠ランク付けモデルは、プレスリリースが記事にある主張に関連していないことを推論できた。さらにより良い出典、別のWebサイト（Violinist.com）のブログ投稿を示唆した。そこには「木曜日にロサンゼルス交響楽団は、2018年1月22日付でサイモン・ウッズを新しい首席事務局長に任命したことを発表した」とある。

MetaのAIは実世界を理解することができるのか

　Metaのモデルが実用化されれば、Wikipediaの記事の質を高め、誰もが利用する情報源の正確さを維持するのに役立つだろう。さらに、Metaのプロジェクトは、最終的にはAIの難しい問題を解決する研究コミュニティーに役立つかもしれない。Metaのモデルは、前例のない規模の現実的なデータで訓練されたからだ。

　今回の成果は自動的なファクトチェック・システムの開発に向けた予備的なステップということができ、さらには事前学習済みモデルとして機能することで、古典的な自然言語推論や質問応答システムにおける検索、学習用のサンプルが少ない（FSL）場合など、他の多くのタスクにおいてより良い結果を導くことができるかもしれないという。

　今回のようなオープンソースプロジェクトは、より高度で密な素材を理解するアルゴリズムを教えることで、AIが現実世界を理解するのに役立つだろう。人間レベルの言語理解力を持つコンピュータシステムを設計することはまだできないが、より賢く、より柔軟なアルゴリズムが生み出されている。

　Metaの開発者は検証・検索モデルの改良を続ける一方で、未来にも目を向けている。今回のモデルはリアルタイムで文書の検証を支援する潜在的なエディタの、最初の構成要素という位置付けだ。引用の提案に加え、Web上で見つかった関連文書から情報を得て自動的に代替テキストを提案し、校正案を提供できる。

　理想は高い。複数の言語を理解して、動画や画像、データテーブルなどさまざまな種類のメディアを処理できるモデルが望ましいからだ。このような能力は、Meta AIの目的であり、世界を理解するためのテクノロジー教育にも貢献できるだろう。