Facebookのチャットbotはどこが優れているのか、「BlenderBot 2.0」を発表：長期記憶の構築やインターネット検索による自律的な情報獲得が可能

Facebook AI Researchはチャットbotの新バージョン「BlenderBot 2.0」を開発し、オープンソースソフトウェアとして公開した。既存のチャットbotとは異なり、長期記憶を構築でき、最新情報についてはインターネット検索で自律的にデータを収集できる。ほぼあらゆるトピックについての高度な会話が可能な初のチャットbotだという。

[＠IT]

　Facebook AI Researchは2021年7月16日（米国時間）、チャットbot「BlenderBot 2.0」をオープンソースソフトウェアとして公開した。長期記憶を構築でき、最新情報についてはインターネット検索で自律的にデータを収集できる。ほぼあらゆるトピックについての高度な会話が可能な初のチャットbotだという。

　Facebook AI Researchが2020年にオープンソース化した「BlenderBot 1.0」は、パーソナリティーを備え、共感を示し、知識を持ち、会話スキルを兼ね備えた初のチャットbotだった。BlenderBot 2.0はこれを大幅にアップデートしたものだ。

　BlenderBot 2.0は1.0と比べて優れている。人間との会話において、より長時間、複数回にわたって、より知性的で、事実に関してより一貫性のあるやりとりができるからだ。Facebook AI Researchが実施した人間によるテストでは、2.0は1.0と比較して、前回の会話セッションを適切に継続する点で優れており、エンゲージメントスコアは17％増加、前回の会話セッションの利用率は55％増加している。

　具体的には会話を通じて集めた適切な情報を長期記憶として保存し、再び会話の中で利用できる。何日も、何週間も、さらには何カ月も会話を継続できる可能性がある。

　さらに、BlenderBot 2.0は会話をしながら、文脈に基づいてインターネット検索を自律的に実行し、検索結果を読み取り、その情報を利用して人々の質問やコメントに対応できる。これは、「絶えず変化する世界の中で、このモデルが常に最新の形を保つということだ」と、Facebook AI Researchは述べている。

　BlenderBot 2.0でインターネット検索を利用することにした理由は何だろうか。機械学習モデルの最近の傾向は、より大きなモデルを学習することに集中しており、かなりの計算資源が必要となる。このようなモデルでは、学習した内容をモデルの重み付けとして保存しようとする。Facebook AI Researchは、常に成長し、変化し続けるインターネット全体を保存することは不可能に近いと判断したため、インターネット検索を選んだ。

BlenderBot 2.0のモデルアーキテクチャ　従来の「エンコーダーデコーダーアーキテクチャ」に対して、会話の記録（Dialog history）からクエリを生成し、長期記憶（Long-term memory）とインターネット検索（The Internet）の両方に基づいて応答できるニューラルネットワークモジュールを追加した（出典：Facebook AI Research）

　Facebook AI Researchは、BlenderBot 2.0の完全なモデルとコード、評価用セットアップに加え、モデルのトレーニングに使われる2種類の会話データセット（インターネット検索を利用した人間の会話と、過去のセッションを参照した、人々とのマルチセッション）を公開した。他の研究者がこの取り組みを再現し、会話AI研究を前進できるよう支援するためだ。

　1つ目のデータセットは、BlenderBot 2.0がどのように関連する検索エンジンのクエリを生成するのか管理するとともに、検索結果に基づいて関連する回答を選択するものだ。2つ目のデータセットは、最新の知識のうち、どれを長期記憶に保存するか管理し、長期記憶に基づく適切な応答を管理する。2つのデータセットを組み合わせてマルチタスクトレーニングを行うことで、BlenderBot 2.0はこれらのスキルを同時に発揮できるようになるという。

既存技術の限界はどこにあったのか

　「GPT-3」やBlenderBot 1.0のような現在の言語生成モデルは、少なくとも進行中の会話の文脈では、明確な自己表現ができ、人間が作成したように見えるテキストを生成できる。

　だが、これらが持つ長期記憶は静的であり、記憶の内容は過去に教えられたものに限定されている。追加の知識を獲得できないため、GPT-3やBlenderBot 1.0は、トレーニングを受けた時点以降の新しい情報を知らない。例えば、特定の有名人に関する話題では、その人物の最近の活動について情報を持っていないため、適切な対応が難しい。

　また、GPT-3やBlenderBot 1.0は記憶の持続時間が短い。例えば昨日、何かを話し掛けても、今日になれば忘れている。Botに対して特定の話題を続けて話し掛け、後日その話題に隣接する話をしたとしても、以前の文脈に基づいた応答ができない。

　しかも、アルゴリズムの欠陥から、これらのモデルは「錯覚」に基づいて、不正確な情報をあたかも自信があるように述べてしまうと、Facebook AI Researchは説明している。

BlenderBot 2.0はどのように使われていくのか

　Facebook AI Researchの研究プラットフォーム「ParlAI」で公開されたBlenderBot 2.0は、記憶にアクセスできることはもちろん、他のBotとの評価実験により、このような錯覚を起こしにくい。人間によるテストでは1.0と比較して2.0は錯覚の頻度を6.1ポイント減らしている。

　BlenderBot 2.0をベースにした技術は将来、日常生活で有効活用される可能性があると、Facebook AI Researchは述べている。あらゆるトピックに関するマルチセッションの会話を何日も、何週間も、何カ月も続けたり、会話が展開する中で、知識や話の内容を膨らませたりできるからだ。これは、このチャットbotがインターネット検索を実行したり、時間とともに知識を利用、構築したり、過去のアイデアに言及したりできるからだ。

　長期記憶の構築機能や、インターネットからの情報で会話をより豊かなものにする機能などを含むこうした進化は、現在のシステムの短所を克服している。BlenderBot 2.0はテストにおいて、既存の最高のシステムを上回る会話機能を発揮しているという。