汎用自然言語モデル「BERT」は、どんな仕組みで動いているのか？ コンピュータの文脈理解について解説：センター英語を例に分かる、自然言語処理入門（2）

センター試験を例に、自然言語処理の基礎を解説する本連載。第2回は自然言語処理による文脈理解の手法について。

[河田尚孝，NTTテクノクロス]

　前回は、センター試験の英語読解問題に必要となる単語分散表現による単語理解について説明しました。紹介した単語分散表現獲得の例では、決まった範囲の周辺単語から単語分散表現を獲得していました。しかしながら、この方法では1単語で1つの意味しか表現することができず、多義語のように文脈で意味が変化する単語には対応できません。

　例えば、「have」という単語は「I have a dog」だと「飼っている」という意味になり「I have breakfast」だと「食べる」という意味になります。多義語は意味ごとに周辺単語の種類も異なるため、それを1つの意味だけで捉えようとするのは困難です。

　その解決方法の一つとして、文章に含まれる単語全体を使って単語分散表現を獲得する文脈理解を行います。文章全体を入力として単語分散表現を求めるので、文章ごとに異なる単語分散表現を獲得することができます。

　次に紹介する「Transformer」は、文章中で意味のある単語に注目するSelf-Attention機構（自己注意機構）を持っているため、文章の特徴をより正確につかむことができるモデルです。各単語をTrm（Transformer）に入力して、単語分散表現Tを獲得する流れを以下に示します。

　この文脈を考慮した単語分散表現を用いて推論を行うことで、多くの自然言語処理タスクの性能が向上することが分かっています。そこで今回は、センター試験英語読解問題の解答に必須といえる自然言語処理による文脈理解について解説します。

文脈理解

　コンピュータが文章を理解するためには、単語の意味を理解するだけではなく、文章に含まれる単語同士の関係性を解析する必要があります。例えば、機械翻訳で用いられる代表的な解析手法でいうと、文章の構造を木構造で表現する句構造解析や、ある単語が文章のどの単語に係るのかを解析する係り受け解析が挙げられます。