MITの研究者が開発した新しい画像技術により、倉庫内の品質管理ロボットが段ボールの配送箱を覗き込み、ピーナッツのパッケージの下に埋もれたマグカップの取っ手が壊れているのを確認できるようになる。
彼らのアプローチは、Wi-Fi で使用されるのと同じタイプの信号であるミリ波 (mmWave) 信号を利用して、視界から遮られたオブジェクトの正確な 3D 再構成を作成します。
波はプラスチック容器や内壁などの一般的な障害物を通過し、隠れたオブジェクトを返す可能性があります。 mmNorm と呼ばれるこのシステムは、これらの反射を収集し、オブジェクトの表面形状を推定するアルゴリズムに入力します。
この新しいアプローチは、銀食器や電気ドリルなど、複雑で湾曲した形状を持つさまざまな日常の物体で 96% の再構築精度を達成しました。高度なベースライン手法では、精度が 78% しか達成されませんでした。
さらに、mmNorm では、このような高精度を実現するために追加の帯域幅は必要ありません。この効率性により、この方法は工場から福祉施設まで幅広い環境で使用できるようになります。
たとえば、mmNorm を使用すると、工場や家庭で働くロボットが引き出しの中に隠された工具を区別し、そのハンドルを認識できるようになり、損傷を与えることなく、より効率的に物体をつかんで操作できるようになります。
「私たちはかなり長い間この問題に興味を持っていましたが、過去の手法は数学的には洗練されていたものの、私たちが必要なところに到達できなかったため、壁にぶつかりました。新しい種類のアプリケーションを開拓するために半世紀以上にわたって使用されてきたこれらの信号の使用法とはまったく異なる方法を見つける必要がありました」と、コンピュータサイエンス学部およびマサチューセッツ工科大学信号工学科の電気グループのディレクターであるファデル・アディブ氏は述べています。 Media Lab であり、mmNorm に関する記事の上級著者。
Adiv 氏には、筆頭著者である研究助手の Laura Dodds 氏、Tara Buroshacki 氏、元博士研究員の Kaichen Zhu 氏がこの論文に参加しています。この研究は最近、モバイル システム、アプリケーション、サービスに関する年次国際会議で発表されました。
反省を振り返る
従来のレーダー技術は、ミリ波信号を送信し、環境からの反射を受信して隠れた物体や遠くにある物体を検出します。これは逆投影と呼ばれる技術です。
この方法は、雲に隠れた飛行機などの大きなオブジェクトにはうまく機能しますが、ロボットが検出する必要があるキッチン用品などの小さなアイテムには画像解像度が粗すぎます。
この問題を研究する中で、MIT の研究者らは、既存の逆投影技術が鏡面性として知られる重要な特性を無視していることに気づきました。レーダー システムが mmd 波を送信すると、波が当たるほぼすべての表面が鏡のように機能し、いくつかの反射が発生します。
表面がアンテナの方向を向いている場合、信号は物体からアンテナに反射されますが、表面が別の方向を向いている場合、反射はレーダーから遠ざかってしまい、受信されなくなります。
「鏡面反射性に依存することで、環境内の反射の位置だけでなく、その時点での表面の向きも推定しようとするのが私たちのアイデアです」とドッズ氏は言います。
彼らは、空間内の特定の点における表面の向きである、いわゆる表面法線を推定する mmNorm を開発し、これらの推定値を使用してその点における表面の曲率を再構築しました。
mmNorm は、空間内の各点での表面法線推定値を組み合わせ、特別な数学的定式化を使用して 3D オブジェクトを再構築します。
研究者らはロボットアームにレーダーを取り付けてmmNormのプロトタイプを作成し、ロボットアームが隠れた物体の周りを移動しながら継続的に測定を行った。このシステムは、さまざまな場所で受信した信号の強度を比較して、物体の表面の曲率を推定します。
たとえば、アンテナは、アンテナに直接面している表面から最も強い反射を受信し、アンテナに直接面していない表面からは弱い信号を受信します。
レーダー上の複数のアンテナは一定量の反射を受信するため、各アンテナは受信した信号の強度に基づいて表面法線の方向を「指します」。
「一部のアンテナは非常に強い指向性を持ち、一部のアンテナは非常に弱い指向性を持っている可能性があります。すべての指向性を組み合わせて、すべてのアンテナ位置で合意された単一の表面法線を生成できます」とドッズ氏は言います。
さらに、mmNorm は空間内のすべての点からサーフェス法線を推定するため、多くの可能なサーフェスが生成されます。正しい点に照準を合わせるために、研究者らはコンピューター グラフィックスの技術を借用し、受信信号を最もよく表す表面を選択する 3D 関数を作成しました。彼らはこれを使用して最終的な 3D 再構成を作成します。
より細かい部分
チームは、マグカップのハンドルや曲線など、複雑な形状を持つ 60 以上のオブジェクトを再現する mmNorm の能力をテストしました。これにより、オブジェクトの位置をより正確に推定しながら、最先端のアプローチよりも誤差が約 40% 少ない再構成が実現されました。
彼らの新しい技術は、同じ箱の中に隠されたフォーク、ナイフ、スプーンなどの複数の物体を区別することもできます。また、木、金属、プラスチック、ゴム、ガラスなどのさまざまな素材や素材の組み合わせで作られたオブジェクトにはうまく機能しましたが、金属や非常に厚い壁の後ろに隠れたオブジェクトには機能しませんでした。
「私たちの高品質な結果はそれ自体を物語っています。そして、目に見える改善の量によって、新しいタスクにこれらの高解像度 3D 再構成を使用するアプリケーションの開発が容易になります」と、Buroshacki 氏は言います。
たとえば、ロボットは箱の中の複数のツールを区別し、ハンマーのハンドルの正確な形状と位置を判断し、それを手に取って作業に使用する計画を立てることができます。 mmNorm は拡張現実ヘッドセットと併用することもでき、これにより工場労働者は完全に遮られた物体の本物のような画像を見ることができます。
また、既存のセキュリティおよび防衛アプリケーションと統合して、空港のセキュリティ スキャナーや軍事パトロール中に隠されたオブジェクトのより正確な再構築を作成することもできます。
研究者らは、今後の研究でこれらやその他の潜在的な応用を探求したいと考えています。また、技術の解像度を向上させ、反射率の低い物体に対するパフォーマンスを向上させ、厚い障害物を通してミリ波が効果的に画像化できるようにしたいとも考えています。
「この研究は、これらの信号とこの 3D 再構築プロセスについての考え方におけるパラダイム シフトを表しています。ここで得た洞察がどのように広範な影響を与えることができるかを見るのが楽しみです」とドッズ氏は言います。
この研究は、米国科学財団、MIT メディア ラボ、およびマイクロソフトによって部分的に支援されました。
