韓国KAISTの「物体識別技術」、スマートフォンの角で“ノック”するだけ：内蔵センサーと機械学習で実現

KAIST（韓国科学技術院）の研究チームが、スマートフォンの角で物体を軽く“ノック”するだけで、物体を識別できる技術「Knocker」を開発した。識別できるだけでなく、物体とひも付いた適切なアプリケーションやサービスを自動的に起動できる。

[＠IT]

　KAIST（韓国科学技術院）の研究チームは、スマートフォンの角で物体を軽く“ノック”するだけで、物体を識別して適切なアプリケーションやサービスを自動的に起動する新技術「Knocker」を開発した。Knockerは、物体の音や振動などに関する機械学習を利用して、物体を識別する。

KAISTで教授を務めるSung-Ju Lee氏（右端）と研究室の学生（出典：KAIST）

　物体を識別する技術は既に多数開発されている。これまではカメラと画像認識技術を組み合わせるか、またはRFIDタグのようなハードウェアを使用していた。こうした識別技術にはいずれも固有の限界がある。画像認識技術は、ユーザーがあらかじめ全てのアイテムを撮影しておく必要がある上、暗い環境では機能しない。RFIDなど追加のハードウェアを使用する技術は、コストも手間もかかる。

　これに対し、Knockerは、スマートフォンにもともと備わっている内蔵センサーだけを用いる。マイクや加速度計、ジャイロスコープなどだ。

　これらの内蔵センサーを使ってスマートフォンで物体をノックしたときに発生する音と振動などが組み合わさった反応を捉える。こうした反応を分析し、物体を分類、識別するために機械学習を利用する。このような仕組みを採用したため、Knockerは、暗い環境でもスマートフォンさえあれば機能し、特殊なハードウェアもカメラも不要だ。

Knocker技術の実演　前半では識別した物体の名称をスマホの画面に表示している。後半では認識した物体に応じてスマホ上の特定のアプリを起動している

ノイズの多い環境でも識別率が高い

　KAISTのSchool of Computingで教授を務めるSung-Ju Lee氏の率いる研究チームは、23種類の日常的な物体を使って、Knocker技術の応用を確認した。

　例えば書籍やノートPC、水の入ったボトル、自転車などだ。混雑しているカフェや道端など、ノイズが多い環境でも、Knockerの識別精度は83％に達した。静かな室内環境では、98％だった。

Knockerはマイクだけでなく、加速度計やジャイロスコープも使うため、騒音環境にも強い（出典：KAIST）

　研究チームは、Knockerがオブジェクト操作の新しいパラダイムを開くと考えている。

　例えば、「空のボトルをノックすると、スマートフォンがショッピングアプリから新しいボトルを自動的に注文する」といったことが可能になる。Knockerを使わないなら、eコマースアプリを探して起動し、検索キーワードを入力してから、適切な飲料を選択し、最後に注文画面で確認する必要がある。

　IoTデバイスと統合すれば、「寝る前にベッドのヘッドボードをノックすると、ライトが消え、アラームをセットする」アプリケーションも実現できるという。

　研究チームは、2019年9月に英国ロンドンで開催された「2019 ACM International Joint Conference on Pervasive and Ubiquitous Computing」（UbiComp 2019）で、Knockerについて15種類の応用例を紹介した。

　「Knockerはソフトウェアソリューションであり、スマートフォンユーザーであればすぐに恩恵を受けられる。特殊なセンサーやハードウェアは不要だ」（Lee氏）

　マウスのダブルクリックのような使い方も考えられるという。例えば、コーヒーメーカーを1回ノックするとユーザーマニュアルを起動し、ダブルノックでコーヒー豆購入サービスを起動するといった使い方だ。ノックの間隔は最大500ミリ秒もあればよいという。