Facebookのチャットbotはどこが優れているのか、「BlenderBot 2.0」を発表：長期記憶の構築やインターネット検索による自律的な情報獲得が可能

Facebook AI Researchはチャットbotの新バージョン「BlenderBot 2.0」を開発し、オープンソースソフトウェアとして公開した。既存のチャットbotとは異なり、長期記憶を構築でき、最新情報についてはインターネット検索で自律的にデータを収集できる。ほぼあらゆるトピックについての高度な会話が可能な初のチャットbotだという。

[＠IT]

　Facebook AI Researchは2021年7月16日（米国時間）、チャットbot「BlenderBot 2.0」をオープンソースソフトウェアとして公開した。長期記憶を構築でき、最新情報についてはインターネット検索で自律的にデータを収集できる。ほぼあらゆるトピックについての高度な会話が可能な初のチャットbotだという。

　Facebook AI Researchが2020年にオープンソース化した「BlenderBot 1.0」は、パーソナリティーを備え、共感を示し、知識を持ち、会話スキルを兼ね備えた初のチャットbotだった。BlenderBot 2.0はこれを大幅にアップデートしたものだ。

　BlenderBot 2.0は1.0と比べて優れている。人間との会話において、より長時間、複数回にわたって、より知性的で、事実に関してより一貫性のあるやりとりができるからだ。Facebook AI Researchが実施した人間によるテストでは、2.0は1.0と比較して、前回の会話セッションを適切に継続する点で優れており、エンゲージメントスコアは17％増加、前回の会話セッションの利用率は55％増加している。

　具体的には会話を通じて集めた適切な情報を長期記憶として保存し、再び会話の中で利用できる。何日も、何週間も、さらには何カ月も会話を継続できる可能性がある。

　さらに、BlenderBot 2.0は会話をしながら、文脈に基づいてインターネット検索を自律的に実行し、検索結果を読み取り、その情報を利用して人々の質問やコメントに対応できる。これは、「絶えず変化する世界の中で、このモデルが常に最新の形を保つということだ」と、Facebook AI Researchは述べている。

　BlenderBot 2.0でインターネット検索を利用することにした理由は何だろうか。機械学習モデルの最近の傾向は、より大きなモデルを学習することに集中しており、かなりの計算資源が必要となる。このようなモデルでは、学習した内容をモデルの重み付けとして保存しようとする。Facebook AI Researchは、常に成長し、変化し続けるインターネット全体を保存することは不可能に近いと判断したため、インターネット検索を選んだ。

BlenderBot 2.0のモデルアーキテクチャ　従来の「エンコーダーデコーダーアーキテクチャ」に対して、会話の記録（Dialog history）からクエリを生成し、長期記憶（Long-term memory）とインターネット検索（The Internet）の両方に基づいて応答できるニューラルネットワークモジュールを追加した（出典：Facebook AI Research）

　Facebook AI Researchは、BlenderBot 2.0の完全なモデルとコード、評価用セットアップに加え、モデルのトレーニングに使われる2種類の会話データセット（インターネット検索を利用した人間の会話と、過去のセッションを参照した、人々とのマルチセッション）を公開した。他の研究者がこの取り組みを再現し、会話AI研究を前進できるよう支援するためだ。

　1つ目のデータセットは、BlenderBot 2.0がどのように関連する検索エンジンのクエリを生成するのか管理するとともに、検索結果に基づいて関連する回答を選択するものだ。2つ目のデータセットは、最新の知識のうち、どれを長期記憶に保存するか管理し、長期記憶に基づく適切な応答を管理する。2つのデータセットを組み合わせてマルチタスクトレーニングを行うことで、BlenderBot 2.0はこれらのスキルを同時に発揮できるようになるという。

既存技術の限界はどこにあったのか

　「GPT-3」やBlenderBot 1.0のような現在の言語生成モデルは、少なくとも進行中の会話の文脈では、明確な自己表現ができ、人間が作成したように見えるテキストを生成できる。