イヤホンに触れずに空中ジェスチャーで操作

(2024年12月01日)

　多くの人がスマートフォンに接続したイヤホンを日常的に使っています。近年は、音楽や通話以外にも音声アシスタンスなど幅広い用途で使われるようになっています。通常、イヤホンの操作は指先で触れるタッチセンサーで行なっていますが、指先が汚れていて操作しづらい場合もありますし、医療行為などで手指を清潔に保つ必要がある場合もあります。またタッチしたときに耳が押されて不快感を感じることもあります。

　このようなさまざまなシーンに対応させるため、慶應義塾大学・公立はこだて未来大学・筑波大学の研究グループはイヤホン近くの空間で指先を動かす空中ジェスチャーで操作する新しいユーザーインターフェイス技術を開発しました。

　この技術はイヤホンからわずかに漏れ出てくる音が、指の動きによって反射してくるのをイヤホン内蔵のマイクで受け、指の動きを判別するものです。

　「EarHover（イヤーホバー）」と名付けられたこの手法は、イヤホンから耳には聞こえない超音波を発射し、指からの反射音に含まれるドップラー効果のパターンの違いから指ジェスチャーの形を識別します。

　ドップラー効果とは遠ざかっていく音の波長は長くなり、近づいてくる音の波長が短くなる現象で、指ジェスチャーのパターンによって異なります。研究グループは、反射音の音声周波数が時間経過とともにどのように変化しているかを示すスペクトログラム画像を生成し、画像パターンと指ジェスチャーの関係を深層学習によって解析しました。

　指を使った27種類のジェスチャーを提案し、そのなかで日常的に行う動作と混同することのないように、有効と思われる7種類の指ジェスチャーを選びました。指ジェスチャーは約80パーセントの正確さで識別できたといいます。図を見てわかるとおり2本の指を立ててイヤホンに近づけるジェスチャーや指先を回すジェスチャーなど、それぞれがまったく異なるスペクトログラム画像を示しています。

　今回の研究によって空中で行う指ジェスチャーによって非接触でイヤホンを操作できることがわかりました。この手法は市販のイヤホン内蔵のスピーカーとマイクをそのまま使えるので、低コストというメリットがあります。

　今後は騒音の多いところなど、実際の使用環境に近い所で確実に使えるように改良していきたいと研究グループは考えています。

【参考】

■慶應義塾大学プレスリリース

・イヤホンにタッチせず空中ジェスチャで操作する新手法を開発－イヤホンに装備されているスピーカと収音マイクのみで実現する音を使った新技術－

サイエンスライター・白鳥 敬(しらとり けい)
1953年生まれ。科学技術分野のライター。月刊「子供の科学」等に毎号執筆。
科学者と文系の普通の人たちをつなぐ仕事をしたいと考えています。