MIT のコンピュータ サイエンスおよび人工知能研究所 (CSAIL) のオフィスでは、柔らかいロボットハンドが慎重に指を丸めて小さな物体を掴んでいます。興味深い部分は機械設計や埋め込まれたセンサーではありません。実際、手には何も含まれていません。代わりに、システム全体は、ロボットの動きを監視し、その視覚データを使用してロボットを制御する単一のカメラに依存します。
この機能は、CSAIL の科学者によって開発された、ロボット制御について異なる視点を提供する新しいシステムから来ています。手作りのモデルや複雑なセンサーの配列を使用する代わりに、ロボットが視覚だけで制御コマンドに自分の体がどのように反応するかを学習できるようになります。ニューラル ヤコビアン フィールド (NJF) と呼ばれるこのアプローチは、ロボットに一種の身体的自己認識を与えます。この研究に関するオープンアクセスの記事が、 自然 6月25日。
「この研究は、ロボットのプログラミングからロボットの教育への移行を示しています」と、電気工学とコンピュータサイエンスを専攻する MIT の博士課程の学生であり、CSAIL の提携者であり、この研究の主任研究者である Cisa Lester Lee 氏は述べています。 「現在、多くのロボットタスクには広範なエンジニアリングとコーディングが必要です。将来的には、ロボットに何をすべきかを示し、自律的に目標を達成する方法を学習させることを私たちは構想しています。」
その動機は、シンプルだが強力な再構成から来ています。柔軟で安価なロボット工学の主な障壁は、ハードウェアではなく、さまざまな方法で達成できる能力制御です。従来のロボットは、堅牢でセンサーが豊富に組み込まれるように構築されているため、制御に使用される正確な数学的レプリカであるデジタル ツインを簡単に構築できます。しかし、ロボットが柔らかく、変形しやすく、または不規則な形状である場合、これらの想定は崩れます。 NJF は、ロボットにモデルに強制的に準拠させるのではなく、スクリプトを反転して、ロボットが観察から内部モデルを学習できるようにします。
見て学んでください
モデリングとハードウェア設計をこのように切り離すことで、ロボット工学の設計領域を大幅に拡大できます。ソフトロボットやバイオからインスピレーションを得たロボットでは、設計者はモデルを実現するためだけにセンサーを埋め込んだり、構造の一部を強化したりすることがよくあります。 NJF はこの制約を取り除きます。このシステムでは、制御を可能にするためにセンサーを内蔵したり、設計を変更したりする必要はありません。設計者は、後でモデル化または制御できるかどうかを心配することなく、型破りで制限のない形態をより自由に探索できるようになります。
「指のコントロールをどのように学ぶか考えてみましょう。動き、観察し、適応します」とリーは言います。 「それが私たちのシステムの役割です。ランダムな動作を実験し、どのコントロールがロボットのどの部分を動かすかを調べます。」
このシステムはさまざまなタイプのロボットで優れていることが証明されています。チームは、つまんだり掴んだりできる空気圧式のソフトロボットハンド、硬いアレグロハンド、3Dプリントされたロボットアーム、さらにはセンサーが埋め込まれていない回転プラットフォーム上でNJFをテストした。いずれにせよ、システムは視覚とランダムな動きだけから、ロボットの形状と制御信号への反応の両方を学習しました。
研究者たちは、実験室をはるかに超えた可能性を見出しています。 NJF を搭載したロボットは、いつかセンチメートルレベルの位置特定精度で農業作業を実行したり、高度なセンサーアレイなしで建設現場で作業したり、従来の方法が機能しない動的環境をナビゲートしたりできるようになるでしょう。
NJF の中心となるのは、ロボットの実施形態の 2 つの絡み合った側面、つまり 3 次元形状と制御入力に対する感度を捕捉するニューラル ネットワークです。このシステムは、空間座標を色と濃度の値にマッピングすることで画像から 3 次元シーンを再現する技術である Neural Radiation Fields (NeRF) に基づいています。 NJF は、ロボットの形状だけでなく、ロボットの体の各点がモーター コマンドに応じてどのように動くかを予測する関数であるフィールド ヤコビアンも研究することで、このアプローチを拡張しています。
モデルをトレーニングするには、ロボットがランダムな動きを行い、複数のカメラが結果を記録します。人間による監視やロボットの構造に関する事前知識は必要ありません。システムは単に観察によって制御信号と動きの関係を推測します。
トレーニングが完了すると、ロボットはリアルタイム閉ループ制御に 1 台の単眼カメラのみを必要とし、約 12 Hz の速度で動作します。これにより、彼は常に自分自身を観察し、計画を立て、それに応じて行動することができます。この速度により、NJF は、リアルタイムで使用するには計算量が多すぎる多くのソフト ロボット用の物理ベースのシミュレーターよりも実行可能になります。
初期のシミュレーションでは、単純な 2D の指やスライダーでも、ほんの数例を使用してこのマッピングを学習できました。 NJF は、アクションに応じて特定のポイントがどのように変形または変化するかをモデル化することで、緻密な制御マップを構築します。この内部モデルにより、データにノイズが多い場合や不完全な場合でも、ロボットの身体全体の動きを一般化できます。
「本当に興味深いのは、どのモーターがロボットのどの部分を制御しているかをシステムが自ら見つけ出すことです」と Lee 氏は言います。 「それはプログラムされたものではありません。人が新しいデバイスのボタンを発見するのと同じように、学習を通じて自然に現れます。」
未来は柔らかい
何十年にもわたって、ロボット工学では、制御を簡素化する機能を備えているため、工場にある産業用アームなど、剛性が高くモデル化が容易な機械が好まれてきました。しかし、この分野は、より流動的に現実世界に適応できる、バイオからインスピレーションを得たソフトロボットへと移行しています。溶融？これらのロボットはモデル化がより困難です。
「今日のロボット工学は、高価なセンサーや複雑なプログラミングのせいで、手が届かないと感じることがよくあります。Neural Jacobian Fields での私たちの目標は、ロボット工学を手頃な価格で、適応性があり、より多くの人が利用できるようにすることです。ビジョンは柔軟で信頼性の高いセンサーです」と、上級著者でシーン表現グループの責任者である MIT 助教授のヴィンセント・シッツマン氏は述べています。 「これにより、高価なインフラを必要とせずに、農場から建設現場に至るまで、乱雑で構造化されていない環境でも動作できるロボットへの扉が開かれます。」
「視覚だけで位置特定と制御に必要な手がかりを提供でき、GPS、外部追跡システム、複雑なセンサーが不要になります。これにより、地図なしで屋内や地下を移動するドローンから、混雑した家や倉庫で作業する移動式マニピュレーター、さらには電気地面上の脚式ロボットに至るまで、構造化されていない環境での堅牢で適応的な行動への扉が開かれます。」とマサチューセッツ工科大学ダニエル教授は述べています。エンジニアリングおよびコンピューター サイエンス、CSAIL ディレクター。 「視覚的なフィードバックから学習することで、これらのシステムは動きとダイナミクスの独自の内部モデルを開発し、従来の位置特定方法では失敗する柔軟な自己監視アクションを可能にします。」
NJF のトレーニングには現在複数のカメラが必要で、ロボットごとにやり直す必要がありますが、研究者らはすでに、よりアクセスしやすいバージョンを構想しています。将来的には、趣味の人は、事前の知識や特別な機器がなくても、運転前のレンタカーのビデオと同様に、ロボットのランダムな動きを携帯電話で記録し、そのビデオを使用して制御モデルを作成できるようになります。
このシステムはまださまざまなロボットに汎用化されておらず、力や触覚のセンシングがないため、タッチ操作が多いタスクでの有効性は制限されています。しかし、チームはこれらの制限に対処するための新しい方法、つまり一般化の改善、障害への対処、より長い空間的および時間的視野に対応するモデルの能力の拡張を模索しています。
「人間が自分の体がどのように動き、コマンドに反応するかを直観的に理解するのと同じように、NJF はロボットに、視覚だけを通じてそのような具現化された自己認識を与えます」とリー氏は言います。 「この理解は、現実世界の環境における柔軟な操作と制御の基礎です。実際、私たちの研究は、ロボット工学におけるより広範なトレンドを反映しています。つまり、詳細なモデルの手動プログラミングから、観察と対話を通じてロボットを学習する方向に移行しています。」
この論文は、Zitzman 研究室のコンピューター ビジョンと自己教師あり学習の成果と、Ross 研究室のソフト ロボット工学の専門知識をまとめたものです。 Li、Sitzmann、Russ は、CSAIL 加盟組織で電気工学およびコンピュータ サイエンス (EECS) の博士課程の学生である Annan Zhang SM ’22 と論文を共同執筆しました。 Boyuan Chen、EECS 博士課程学生。 Hana Matosik、学士号を取得した機械工学の研究者。そして、MIT センシュアル シティ ラボの博士研究員である Chao Liu 氏です。
この研究は、MIT研究支援委員会、MIT大統領フェローシップ、国立科学財団、光州科学技術大学を通じたソロモン・バックスバウム研究財団の支援を受けた。
