Vision Pro を使用してロボット犬をリアルタイムで訓練しましょう! MIT 博士課程学生のオープンソース プロジェクトが人気に

Vision Pro にはもう 1 つの注目の新しい遊び方があり、今回は身体化された知性とリンクしています~

このように、MIT 担当者は Vision Pro のハンド トラッキング機能を使用して、次のことを実現しました。ロボット犬のリアルタイム制御。

ドアを開けるなどのアクションを正確に取得できるだけでなく、ほとんどの情報も取得できません。遅れ。

# デモが公開されるとすぐに、ネチズンが Goose Meizi を賞賛しただけでなく、さまざまな具現化知能研究者も興奮しました。

たとえば、清華大学の博士課程の学生:

大胆に予測する人もいます: これが私たちが次世代のマシンと対話する方法です。

プロジェクトの実装方法については、作者

Park Younghyo

(Younghyo Park) が GitHub で オープンソース

を公開しています。関連するアプリは、Vision Pro の App Store から直接ダウンロードできます。

Vision Pro を使用してロボット犬を訓練する

作者が開発したアプリを詳しく見てみましょう--Tracking Steamer

。

名前が示すように、このアプリケーションは、Vision Pro を使用して人間の動きを追跡し、これらの動きデータを同じ WiFi 下の他のロボット デバイスにリアルタイムで送信するように設計されています。

モーション トラッキング部分は主に Apple の ARKit ライブラリに依存しています。

ヘッド トラッキングは queryDeviceAnchor を呼び出します。 Digital Crown を長押しすると、ヘッド フレームを現在の位置にリセットできます。

手首と指の追跡は、HandTrackingProvider を通じて実装されます。地面フレームに対する左右の手首の位置と向き、および手首フレームに対する両手の 25 個の指関節の姿勢を追跡できます。

ネットワーク通信に関しては、このアプリはデータをストリーミングするためのネットワーク通信プロトコルとして gRPC を使用します。これにより、Linux、Mac、Windows デバイスなど、より多くのデバイスでデータをサブスクライブできるようになります。

さらに、データ送信を容易にするために、開発者がプロ​​グラムで Vision Pro からストリーミングされた追跡データをサブスクライブして受信できるようにする Python API も用意しました。

API が返すデータは辞書形式であり、SE (3) 頭、手首、指の姿勢情報、つまり 3 次元の位置と方向が含まれます。開発者は、このデータを Python で直接処理して、ロボットのさらなる分析と制御を行うことができます。

多くの専門家が指摘しているように、ロボット犬の動きが依然として人間によって制御されているかどうかに関係なく、実際には、「制御」自体と比較して、模倣 アルゴリズムを学習する過程では、人間はロボットのコーチに似てきます。

Vision Pro は、ユーザーの動きを追跡することで直感的でシンプルな対話方法を提供し、専門家でなくてもロボットに正確なトレーニング データを提供できるようにします。

著者自身も論文の中で次のように書いています:

近い将来、人々は眼鏡をかけるのと同じように Vision Pro のようなデバイスを毎日着用するようになるかもしれません。その過程でどれだけのデータが収集されるのでしょうか。

これは、ロボットが人間と現実世界との関わり方を学習できる有望なデータ源です。

最後に、このオープンソース プロジェクトを試してみたい場合は、Vision Pro に加えて、次の準備も必要です。

• Apple 開発者アカウント
• Vision Pro 開発者アクセサリ (開発者ストラップ、価格は 299 ドル)
• Xcode がインストールされた Mac コンピュータ

## Apple はやはり利益を第一に考えなければならないようです (doge)。

プロジェクト リンク: https://github.com/Improbable-AI/VisionProTeleop?tab=readme-ov-file

# #

以上がVision Pro を使用してロボット犬をリアルタイムで訓練しましょう! MIT 博士課程学生のオープンソース プロジェクトが人気にの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。