次回、携帯電話をスクロールするときは、少し時間を取ってこの偉業を鑑賞してください。この一見平凡な行為は、手の 34 の筋肉、27 の関節、100 以上の腱と靱帯の調整によって可能になっています。確かに、私たちの手は体の中で最も機敏な部分です。彼らの多くの微妙なジェスチャーを模倣することは、ロボット工学と仮想現実における長年の課題でした。
今回、MIT のエンジニアは、着用者の手の動きをリアルタイムで正確に追跡する超音波ブレスレットを設計しました。このブレスレットは、手の動きに応じて手首の筋肉、腱、靱帯の超音波画像を生成し、画像を 5 本の指と手のひらの対応する位置に継続的に変換する人工知能アルゴリズムと組み合わせられています。
研究者はブレスレットを訓練して着用者の手の動きを学習することができ、デバイスはそれをロボットや仮想環境にリアルタイムで通信できます。
研究チームはデモで、ブレスレットを装着した人がロボットハンドを無線で制御できることを示した。人がジェスチャーしたり指さしたりすると、ロボットも同じことをします。一種のワイヤレスマリオネットインタラクションでは、装着者はロボットを操作してピアノで簡単な曲を演奏したり、小さなバスケットボールを卓上のフープに撃ち込んだりすることができます。同じリストバンドを使用して、着用者はコンピュータ画面上のオブジェクトを操作することもできます。たとえば、指をつまんで仮想オブジェクトをズームインまたはズームアウトします。
チームはリストバンドを使用して、さまざまな手の大きさ、指の形、ジェスチャーを持つさらに多くのユーザーから手の動きのデータを収集します。彼らは、たとえば、特定の外科手術の実行などの機敏なタスクで人型ロボットを訓練するために実行できる手の動きの大規模なデータセットを構築することを想定しています。超音波ストリップは、ビデオ ゲーム、デザイン アプリケーション、またはその他の仮想設定でオブジェクトを認識、操作、および対話するためにも使用できます。
「この研究は、仮想現実と拡張現実におけるウェアラブル超音波ストリップによるハンドトラッキング技術の置き換えに即時的な影響を与えると考えています」と、MIT の Uncas およびヘレン・ウィテカー機械工学教授のショーナ・チャオ氏は述べています。 「訓練された人型ロボットに大量の訓練データを提供することもできます。」
Zhao、Gengxi Lu、および彼らの同僚は、今日発行される論文で新しいブレスレットのデザインを発表しています。 テバエレクトロニクス。 MIT の共著者は元ポスドクの Xiaoyu Chen、Shucong Li、Bolly Deng です。大学院生のキム・ソンヒョンさんとダイアン・リーさん。ポスドクの Xu Wang 氏と Ronza Lee 氏。マサチューセッツ工科大学の学長で電気工学およびコンピュータサイエンスのヴァネヴァー・ブッシュ教授であるアナンタ・チャンドラカサン氏。他の共著者には、大学院生のYushun Zheng氏とZhonggang Zhang氏、Baoqiang Liu氏、Chen Gong氏、南カリフォルニア大学教授Chipa Zhou氏がいる。
文字列が見えます
現在、人間の手の器用さをロボットに取り入れて模倣するためのアプローチがいくつかあります。一部のアプローチでは、カメラを使用して、物体を操作したりタスクを実行したりする人の手の動きを記録します。他には、センサー付きの手袋を着用した人が手の動きを記録し、そのデータを受信ロボットに送信する方法もあります。しかし、さまざまな用途に合わせて複雑なカメラ システムをセットアップすることは非現実的であり、視覚的な障害が発生しやすくなります。また、センサーが搭載された手袋は、人の自然な手の動きや感覚を制限する可能性があります。
3 番目のアプローチでは、手首または前腕の筋肉からの電気信号を使用し、科学者はそれを特定の手の動きと相関させます。研究者はこのアプローチで大きな進歩を遂げましたが、これらの信号は環境ノイズの影響を受けやすくなります。また、動きの微妙な変化に気づくほど敏感ではありません。たとえば、親指と人差し指が近づいているか、離れているかには気づくかもしれませんが、その間の経路についてはあまり気づきません。
Zhao 氏のチームは、超音波画像処理によって、より器用で持続的な手の動きを捉えることができるのではないかと考えました。彼のグループは、皮膚に安全に貼り付けることができるヒドロゲル素材と組み合わせた、診療所で使用されるトランスデューサーの小型版である、さまざまな形式の超音波パッチを開発しました。
新しい研究では、研究チームは超音波パッチのデザインとウェアラブルブレスレットを組み合わせて、手首の筋肉と腱を継続的に画像化しました。
「手首の腱と筋肉は、指である人形を引っ張る糸のようなものです」とルー氏は言う。 「つまり、弦の位置を写真に撮るたびに、手の位置が分かるという考えです。」
マッピング操作
研究チームは、スマートウォッチサイズの超音波ステッカーが付いたリストバンドを設計し、携帯電話とほぼ同じ大きさの内蔵電子機器を追加した。彼らはブレスレットをボランティアの手首に取り付け、ボランティアがさまざまなジェスチャーで指を動かすと、デバイスが手首の鮮明で連続的な画像を生成することを確認しました。
そこでの課題は、手首の白黒の超音波画像を特定のハンド ガイドに関連付けることでした。結局のところ、指と親指は 22 の自由度、つまりさまざまな方法で伸ばしたり曲げたりすることができます。研究者らは、手首の超音波画像内で、これら 22 の自由度のそれぞれに対応する特定の領域を特定できることを発見しました。たとえば、ある領域の変化は親指の伸長に関連し、別の領域の変化は人差し指の動きに相関します。
これらのつながりを作り出すために、ブレスレットを装着したボランティアが手をさまざまな位置に動かし、研究者がボランティアを囲む複数のカメラでそのジェスチャーを記録しました。超音波画像の特定領域の変化とカメラで記録された手の位置を照合することで、研究チームは手首の画像領域に対応する手の自由度をラベル付けすることができます。しかし、この翻訳を継続的かつリアルタイムで行うことは、人間には不可能な作業です。
そこでチームは人工知能に目を向けました。彼らは、画像パターンを認識し、それらを特定のラベル、この場合は手のさまざまな自由度に関連付けるようにトレーニングできる AI アルゴリズムを使用しました。研究者らは、慎重にラベル付けした超音波画像を使用してアルゴリズムをトレーニングし、ある程度の自由度に関連する画像領域に注目しました。彼らは、新しい一連の超音波画像でアルゴリズムをテストし、対応する手の動きを正確に予測することを発見しました。
研究者らは AI アルゴリズムとブレスレットの統合に成功した後、追加のボランティアでデバイスをテストしました。新しい研究では、手と手首のサイズが異なる8人のボランティアがブレスレットを着用し、アメリカ手話の26文字すべての手話を作るなど、さまざまな手と握りの動きをした。彼らはまた、テニスボール、ペットボトル、ハサミ、鉛筆などの物体も持っていました。いずれの場合も、ブレスレットは手の位置を正確に追跡し、予測しました。
潜在的なアプリケーションを実証するために、チームはブレスレットをワイヤレスで装備する簡単なコンピューター プログラムを開発しました。着用者がつまんだり掴んだりする動作を行うと、そのジェスチャーはコンピューター画面上のオブジェクトをズームインおよびズームアウトするのに適応し、実際にオブジェクトをスムーズかつ継続的に移動および操作します。
研究者らはまた、このブレスレットを単純な商用ロボットアームの無線コントローラーとしてテストした。ボランティアはブレスレットを着用しながら、キーボードを弾く動作を体験しました。ロボットはその動きをリアルタイムで模倣し、ピアノで簡単なメロディーを演奏しました。同じロボットは、テーブルバスケットボールのゲームをプレイするために人間の指のタップを模倣することもできました。
Zhao氏は、ブレスレットのハードウェアをさらに最小化するとともに、より広い手のサイズや形状を持つボランティアによるより多くのジェスチャーや動きでAIソフトウェアをトレーニングする予定だ。最終的にチームは、誰でも着用して人型ロボットや仮想オブジェクトを高度な器用さでワイヤレスで操作できるウェアラブル ハンド トラッカーを目指して構築しています。
「私たちは、これがウェアラブル手首イメージングを使用して、熟練した手の動きを追跡する最も先進的な方法であると信じています」と Zhao 氏は言います。 「これらのウェアラブル超音波ストリップは、仮想現実とロボットハンドに直感的で多用途な制御を提供できると考えています。」
この研究は、シンガポール-MIT研究技術同盟を通じて、MIT、米国国立衛生研究所、米国国立科学財団、米国国防総省、およびシンガポール国立研究財団の一部によって支援されました。
