英語のコマンドを理解して家事を行えるロボットを研究者が開発

プリンストン大学、スタンフォード大学、Google の研究者チームは、OpenAI の GPT-3 Davinci モデルを使用して、英語の指示を理解し、家事を行うことができる TidyBot という名前のロボットを開発しました。このロボットは、洗濯物の仕分け、床のゴミ拾い、おもちゃの拾い上げなどの作業をユーザーの好みに応じて自動で完了します。

GPT-3 Davinci モデルは、GPT モデル ファミリーの一部である深層学習モデルであり、自然言語を理解して生成できます。このモデルには強力な要約機能があり、大量のテキスト データから複雑なオブジェクトの属性と関係を学習できます。研究者らはこの機能を利用して、「引き出しの中の黄色いシャツ、クローゼットの中の濃い紫色のシャツ、引き出しの中の白い靴下」など、ユーザーが提供したいくつかのオブジェクト例に基づいてロボットにオブジェクトを配置させ、モデルに結論を与えました。ユーザーの一般的な設定ルールを取得し、それを将来のインタラクションに適用します。

研究者らは論文の中で次のように書いています:「私たちの基本的な洞察は、LLM (大規模言語モデル) の要約機能は、パーソナライズされたロボットの一般化ニーズによく適合するということです。LLM は、要約を通じて一般化を達成する能力を示しています」膨大なテキスト データセットから学んだ複雑なオブジェクトのプロパティと関係を活用する驚くべき能力。」

彼らは次のようにも書いています。「高価なデータ収集とモデル トレーニングを必要とする従来の方法とは異なり、LLM が分野で一般化を達成できることを示しました。大量のテキスト データから学習した強力な要約機能を利用して、箱から出してすぐに使えるロボット工学を実現します。」

研究者らは、洗濯ができるロボットを同紙の Web サイトでデモンストレーションしました。明るい色と暗い色に分けてリサイクルします。飲み物の缶を捨てる、ゴミを捨てる、袋やカトラリーを詰める、散らばったものを元の位置に戻す、おもちゃを引き出しにしまう。

研究者らは最初にテキストベースのベンチマーク データセットをテストしました。このデータセットにはユーザーの好みが入力され、モデルはアイテムの帰属を決定するパーソナライゼーション ルールを作成するように求められました。モデルは例を一般的なルールに要約し、その要約を使用して新しい項目を配置する場所を決定します。ベースライン シーンは 4 つの部屋で定義され、それぞれに 24 のシーンがあります。各シーンにはアイテムを配置する 2 ～ 5 つの場所が含まれており、モデルが分類するために見えるアイテムと見えないアイテムの数は同じです。このテストでは、目に見えないアイテムに関して91.2パーセントの精度を達成したと彼らは書いている。

この方法を現実世界のロボット TidyBot に適用したところ、物体の 85% をうまく拾うことができたことがわかりました。 TidyBot は、それぞれ 10 個のオブジェクトのセットを含む 8 つの実際のシナリオでテストされ、ロボットは各シナリオで 3 回実行されました。 IT House によると、TidyBot は LLM に加えて、CLIP と呼ばれる画像分類器と OWL-ViT と呼ばれる物体検出器も使用しています。

ジョージア工科大学インタラクティブ コンピューティング学部の助教授であるダンフェイ シュー氏は、Google の PaLM-E モデルについて話した際、LLM によってロボットにさらなる問題解決能力が与えられると述べました。 「これまでのミッション計画システムのほとんどは、何らかの検索アルゴリズムや最適化アルゴリズムに依存していましたが、柔軟性が低く、構築が困難でした。LLM とマルチモーダル LLM により、これらのシステムはインターネット規模のデータから恩恵を受け、新しい問題の解決に簡単に使用できるようになります」と同氏は述べています。 。

以上が英語のコマンドを理解して家事を行えるロボットを研究者が開発の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。