翻訳系API「Translator API」の使い方と2017年2月現在のWatson、Google翻訳との違い：認識系API活用入門（2）（3/3 ページ）

[岩本禎史，株式会社クロスキャット]

Translator Text APIの翻訳精度をIBM Watson、Google翻訳と5パターンで比較

　では続いて、実際にTranslator Text APIの翻訳精度がどの程度のものなのかを検証してみましょう。

　ビルドしたExeを起動します。

アプリケーションの画面

　特に操作に難しいところはありません。翻訳したい文章をFROMの下のテキストボックスに入力し、FROMの言語とTOの言語を選んで翻訳ボタンを押すだけです。

　ここからは、5つのパターンで、他サービス（IBM Watson、Google翻訳）での検証結果と比較します（※精度は2017年2月現在のものとします）。

※IBM Watson、Google翻訳はプログラムは作成せずに、それぞれ以下URLからブラウザを使って翻訳を行いました。

• https://language-translator-demo.mybluemix.net/
• https://translate.google.co.jp/?hl=ja

【検証1】英語の文章を日本語に翻訳

　試しにマイクロソフトのTranslator APIについての概要が載っている下記URLのWebページの英語を翻訳してみます。

• https://www.microsoft.com/cognitive-services/en-us/translator-api/documentation/TranslatorInfo/overview

Microsoft Translator APIs can be seamlessly integrated into your applications, websites, tools, or other solutions to provide multi-language user experiences. Leveraging industry standards, it can be used on any hardware platform and with any operating system to perform language translation and other language-related operations such as speech to speech translation, text language detection or text to speech.

翻訳する英語

Microsoft Translator api は、複数言語のユーザーエクスペリエンスを提供するために、アプリケーション、web サイト、ツール、またはその他のソリューションにシームレスに統合することができます。業界標準を活用して、任意のハードウェアプラットフォームと任意のオペレーティングシステムで言語の翻訳や音声翻訳、テキスト言語の検出やスピーチへのテキストなどの言語関連の操作を実行するために使用することができます。

作成したアプリケーション（マイクロソフト Translator API）での翻訳結果

　かなり精度は高いと思います。

Microsoft Translator APIアプリケーションにシームレスに統合でき、Webサイト、ツール、または複数のユーザー・エクスペリエンスを提供するその他のソリューションです。  業界標準を活用することで、翻訳と音声変換、テキストの言語の検出や音声をテキストに講演など言語関連の操作を実行するすべてのハードウェア・プラットフォームとオペレーティング・システムで使用することができます。

IBM Watsonの翻訳結果

　こちらは当たらずしも遠からず、といった感じでしょうか。

Microsoft Translator APIは、アプリケーション、Webサイト、ツール、またはその他のソリューションにシームレスに統合して、多言語のユーザーエクスペリエンスを提供できます。業界標準を利用して、任意のハードウェアプラットフォームおよび任意のオペレーティングシステムで使用して、音声翻訳、音声翻訳、テキスト言語検出、またはテキスト読み上げなどの言語関連の操作を実行できます。

Google翻訳の翻訳結果

　こちらは最も精度が高く、実際の日本語に近い言い回しです。Google翻訳もマイクロソフトと同時期の2016 年11月にディープラーニングで精度が向上したと発表しています。

【検証2】英語のつぶやきを日本語に翻訳1

　次は違う角度で試してみましょう。先日退任したばかりのオバマ前大統領のTwitterの発言を翻訳してみます。こちらは、書き言葉というよりも会話調の言葉です。

オバマ前大統領のTwitter

Hi everybody! Back to the original handle. Is this thing still on? Michelle and I are off on a quick vacation, then we’ll get back to work.

翻訳する英語

こんにちは皆!元のハンドルに戻ります。このことはまだですか?ミシェルと私はすぐに休暇をオフにして、我々は仕事に戻って取得します。

作成したアプリケーション（マイクロソフト Translator API）での翻訳結果

　「Hi everybody!」が「こんにちは皆！」になってしまいました。この後比較する他の2つのサービスは「みなさんこんにちは！」と訳しているので、もうひと頑張りという感じです。「Back to the original handle. Is this thing still on?」は、背景が分からないと人間でも翻訳しにくいのでここは仕方ないところだと思います。

　「Handle」とは“ハンドルネーム”の「ハンドル（＝アカウント）」のことです。訳すとしたら「大統領任期中は使用していなかった個人のTwitterアカウントに戻ってきたよ」といった感じでしょうか。「Michelle and I are off on a quick vacation, then we’ll get back to work.」は少し違う意味になってしまいました。

　IBM Watsonや、先ほどは一番優秀だったGoogle翻訳はどうでしょうか。

皆さんこんにちは!  元のハンドルに戻ります。  この事についてはまだですか?  ミシェルと私はすぐに休みは中止され、作業に戻りましょう。

IBM Watsonの翻訳結果

　「Hi everybody!」はちゃんと「皆さんこんにちは！」になってくれました。が、しかし「Michelle and I are off on a quick vacation, then we’ll get back to work.」は違う意味になってしまっています。

みなさんこんにちは！元のハンドルに戻ります。このことはまだありますか？ミシェルと私はすぐに休暇をとっています。それから仕事に戻ります。

Google翻訳の翻訳結果

　今回も一番優秀な結果でした。

【検証3】英語のつぶやきを日本語に翻訳2

　もう1つのオバマ前大統領のTwitterの発言も試してみましょう。

In the meantime, I want to hear what you're thinking about the road ahead. So share your ideas with me here:

翻訳する英語

一方で、私はあなたが先に道を考えているものを聞きたい。だから私と一緒にあなたのアイデアを共有します。

作成したアプリケーション（マイクロソフト Translator API）での翻訳結果

　「what you're thinking about the road ahead」という文章をうまく訳せておらず、精度はもう一歩のようです。「share your ideas with me here」は「します」ではなく「してください」が適切だと思いますが、こちらもまだそこまでの精度ではないようです。

その一方で、何の前の道について考えていることを聞きたい。ここで自分の考えを共有する私。

IBM Watsonの翻訳結果

　全体的に誤訳になってしまって、意味が分からなくなってしまいました。

その間、私はあなたが進路について考えていることを聞きたい。あなたのアイデアを私とここで共有してください。

Google翻訳の翻訳結果

　こちらも一番優秀な結果でした。

【検証4】日本語の文章を英語に翻訳

　逆に日本語から英語への翻訳はどうでしょうか。下記URLにある、マイクロソフトの「自動翻訳とMicrosoft Translator」というページにある文章を翻訳してみます。

• https://www.microsoft.com/ja-jp/translator/at.aspx

自動翻訳システムは、機械翻訳システムとも呼ばれるもので、機械学習テクノロジを使用して、サポートされている言語間で大量のテキストを翻訳するアプリケーションまたはオンライン サービスです。

翻訳する日本語

Automated translation systems, also known as machine translation systems, are applications or online services that use machine learning technology to translate large amounts of text between supported languages.

作成したアプリケーション（マイクロソフト Translator API）での翻訳結果

　完璧な訳が返ってきました。すばらしい精度です。

The automatic translation system, also known as machine translation system, using machine learning technology, online services or applications to translate large amounts of text between languages that are supported.

IBM Watsonの翻訳結果

　かなり分かりにくい翻訳になってしまいました。無理して翻訳した感じです。

An automatic translation system, also called machine translation system, is an application or online service that uses machine learning technology to translate large amounts of text between supported languages.

Google翻訳の翻訳結果

　マイクロソフトと互角の結果を返してきました。単数形か複数形かの違いくらいですね。ここは、もともとの日本語が単数／複数の切り分けがあいまいな言語であることもあるので、どちらでも問題ないと思います。

【検証5】日本語のつぶやきを英語に翻訳

　では続いて違う切り口で日本語から英語への翻訳精度を見てみましょう。本連載を掲載している＠ITのTwitter上でのつぶやきを翻訳してみます。

＠ITのTwitter

大阪といえば、お笑い、たこ焼き、ヒョウ柄のおかん――いえいえ、それだけじゃないんです。大阪は、エンジニアが住みやすく働きやすい街なんです。

翻訳する日本語

Speaking of Osaka, comedy, Takoyaki, and leopard-patterned cans--no, not only that. Osaka is a city where engineers can easily live and work.

作成したアプリケーション（マイクロソフト Translator API）での翻訳結果

　ほぼ完璧な訳が返ってきました。すばらしい精度です。ただ、残念ながら「おかん」は通じなかったようです。

Talking of Osaka takoyaki, the laughter, the ague of leopard print, I -- no, not at all, it's not the only. It's a great city to work easier to live in Osaka, engineers.

IBM Watsonの翻訳結果

　「おかん」は「悪寒」だと判定されたようです。そして最後に急に「engineers」と出てくるので、エンジニアがどうしたのか分からない訳になってしまいました。

Speaking of Osaka, comedy, Takoyaki, leopard pattern okanen - no, it is not only that. Osaka is a city where engineers are easy to live and work.

Google翻訳の翻訳結果

　こちらもマイクロソフトと同様ほぼ完璧な訳を返してきました。しかしやはり「おかん」は通じませんでした。「おかねん」って何でしょう……。

　日本語から英語の翻訳では、2017年2月現在、今回の簡単な検証ではマイクロソフトとグーグルが互角で高い精度でした。

精度などは継続的に観察してみよう

　いかがでしたでしょうか。今回の検証では全体的にはGoogle翻訳が強さを見せましたが、検証数が少ないため検証結果はあくまで参考としてください。もっといろいろなパターンで検証してみると、マイクロソフト、IBM、グーグル、それぞれが得意なパターンが出てくるかもしれません。

　コグニティブ／AIはどのサービスも日進月歩で進化しています。現に、マイクロソフトのコグニティブサービスは、前述のブログで「マイクロソフトの音声翻訳やテキスト翻訳におけるニューラル ネットワークの活用はまだ初期段階にあります」としながらも、ニューラルネットワークの利用により飛躍的に翻訳精度が向上しています。

　各社とも3カ月後、半年後、1年後にはもっと精度が上がっているはずです。そのため、今後も継続的に観察していくことが大切だと思います。

　次回はText To Speechを試してみたいと思います。お楽しみに。