次回、携帯電話をスクロールするときは、少し時間を取ってこの偉業を鑑賞してください。この一見平凡な行為は、手の 34 の筋肉、27 の関節、100 以上の腱と靱帯の調整によって可能になっています。確かに、私たちの手は体の中で最も機敏な部分です。彼らの多くの微妙なジェスチャーを模倣することは、ロボット工学と仮想現実における長年の課題でした。 今回、MIT のエンジニアは、着用者の手の動きをリアルタイムで正確に追跡する超音波ブレスレットを設計しました。このブレスレットは、手の動きに応じて手首の筋肉、腱、靱帯の超音波画像を生成し、画像を 5 本の指と手のひらの対応する位置に継続的に変換する人工知能アルゴリズムと組み合わせられています。 研究者はブレスレットを訓練して着用者の手の動きを学習することができ、デバイスはそれをロボットや仮想環境にリアルタイムで通信できます。 研究チームはデモで、ブレスレットを装着した人がロボットハンドを無線で制御できることを示した。人がジェスチャーしたり指さしたりすると、ロボットも同じことをします。一種のワイヤレスマリオネットインタラクションでは、装着者はロボットを操作してピアノで簡単な曲を演奏したり、小さなバスケットボールを卓上のフープに撃ち込んだりすることができます。同じリストバンドを使用して、着用者はコンピュータ画面上のオブジェクトを操作することもできます。たとえば、指をつまんで仮想オブジェクトをズームインまたはズームアウトします。 チームはリストバンドを使用して、さまざまな手の大きさ、指の形、ジェスチャーを持つさらに多くのユーザーから手の動きのデータを収集します。彼らは、たとえば、特定の外科手術の実行などの機敏なタスクで人型ロボットを訓練するために実行できる手の動きの大規模なデータセットを構築することを想定しています。超音波ストリップは、ビデオ ゲーム、デザイン アプリケーション、またはその他の仮想設定でオブジェクトを認識、操作、および対話するためにも使用できます。 「この研究は、仮想現実と拡張現実におけるウェアラブル超音波ストリップによるハンドトラッキング技術の置き換えに即時的な影響を与えると考えています」と、MIT の Uncas およびヘレン・ウィテカー機械工学教授のショーナ・チャオ氏は述べています。 「訓練された人型ロボットに大量の訓練データを提供することもできます。」 Zhao、Gengxi Lu、および彼らの同僚は、今日発行される論文で新しいブレスレットのデザインを発表しています。 テバエレクトロニクス。 MIT の共著者は元ポスドクの Xiaoyu […]