進化したスマートペン

紙に手書きした仮想鍵盤でピアノが弾けるJavaペン

2008/05/10

 紙にペンで線を何本か書き付けて鍵盤を書くと、それがそのまま演奏可能になる。そんな印象的なデモンストレーションで観衆の心をつかんだのは米ライブスクライブ社CEOのジム・マーグラフ(Jim Marggraff)氏だ。米国サンフランシスコで開催中の「2008 JavaOne」のステージに登壇したマーグラフ氏は、2008年1月に発表したばかりの「Pulse」を披露した。

pulse01.jpg 紙に手書きした仮想鍵盤。黒鍵は省略しているが、ペンを走らせることで音階がペンから再生される。ペンを鍵盤上に走らせると、指で鍵盤をなぞったとのと同じ連続した音がでる。鍵盤の下にある「I」は「Instruments」(楽器)の略で、このアイコン(?)をクリックすることで楽器の音色を変えることもできる。実際には自由に線やアイコンを書いていいわけではなく、「垂直な線を8本引いてください、それが鍵盤になります」などという音声ガイダンスに従う必要がある

 Pulseは、これまでにもあった手書きで紙に書いたものがそのままPCに取りこめるペンの一種だが、単に取りこめるという段階から進化した「スマートペン」だ。例えば手書き文字を書くそばから文字認識して、辞書を引くことができる。デモンストレーションでマーグラフCEOは、走り書きした「coffee」「please」といった文字列を認識させ、96×18ドットの有機ELディスプレイに元の単語と訳語を表示させ、訳語の発音を音声で確認してみせた。

pulse02.jpg 紙に手書きした文字を認識して訳語を表示するPulse

 秒間70コマを取りこめる高速赤外線カメラを搭載し、ノート上に印刷された目に見えないドットを認識してペンの動きをトラックする。しゃべりながら書くと、それがそのまま録音される。PC上で再生すると、カラオケの歌詞がテンポにしたがって徐々に色が塗り替えられて表示されるように、文字と再生音声をシンクロする形で見ることができる。ペン単体でも、ノート下部にあるオーディオ再生ボタンなど制御用アイコンをペンで押すことで録音音声を聞くことができる。文字や絵とUI用のアイコンは区別できるようで、数字で箇条書きしたテキストは、ちゃんと箇条書きとして認識される。例えば「1」の文字列を書いているときに録音した音声を再生中に「3」をクリックすると、「3」の文字列を書いているときに録音した音声がスタートするといった具合だ。

 Pulseは、サムスン製のARM 9(32ビット、150MHz)、1GBまたは2GBのフラッシュメモリを搭載するという結構パワフルなコンピュータだ。SDKを提供しているのがミソで、Javaプログラマであれば自由にアプリケーションを開発してペンにロードできる。アイデア次第でいろいろな応用が考えられる。JavaOneでのデモンストレーションだったことから、数字を手書きでペンに入力し、それに対応するJSR(Java Specification Request)の内容を表示するというアプリケーションを実演していた。

 デモ内容だけでは実用性があるように思えないが、Pulseに適した応用が何かあるのでないか、ひとまず遊んでみたいとJava開発者たちに思わせるには充分だったようで、138ドルという特別価格のお得感も手伝って会場ブースでは飛ぶようにペンが売れていた。

pulse03.jpg 箇条書きの数字をクリックすると、その項目の文字列を書いているときに録音した音声がペンから聞こえる
pulse04.jpg 数字を入れると対応するJSRの内容を表示。役には立たないかもしれないが、さまざまな応用がありそうだと思わせるには充分なデモンストレーションだ
pulse05.jpg PC上に取り込んだノートは管理ソフトから検索もできる。画面は「java」で検索した例。手書き文字がヒットしてハイライトされるのを見るのは不思議な感覚だ

関連リンク

(@IT 西村賢)

情報をお寄せください:

Java Agile フォーラム 新着記事

キャリアアップ

- PR -

注目のテーマ

- PR -
ソリューションFLASH

「ITmedia マーケティング」新着記事

「TikTok禁止」は結局、誰得? どうするトランプ氏――2025年のSNS大予測(TikTok編)
米国での存続を巡る議論が続く一方で、アプリ内ショッピングやAI機能の拡大など、TikTok...

ネットの口コミを参考に8割超が商品を購入 最も参考にした口コミの掲載先は?
ホットリンクは、口コミ投稿の経験や購買への影響を調査した結果を発表した。

「生成AIの普及でSEOはオワコン」説は本当か?
生成AIの普及によりSEOが「オワコン」化するという言説を頻繁に耳にするようになりました...