ホームページ テクノロジー周辺機器 AI デジタル世界 AGI への移行!エージェントは「レッド・デッド・リデンプション 2」を最初からプレイし始めました

デジタル世界 AGI への移行!エージェントは「レッド・デッド・リデンプション 2」を最初からプレイし始めました

Mar 15, 2024 am 08:20 AM
業界 cradle

向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了

#ユニバーサルコンピュータ制御

情報革命がデジタル世界を生み出し、デジタル 世界は大規模なモデルを誕生させるためのデータを提供しており、汎用人工知能 (AGI) を実装するのが最も簡単でもあります。

デジタル世界における AGI に向けて、北京知源人工知能研究所、シンガポール南洋理工大学、北京大学が共同で 向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了General Computer Control (GCC) # を提案しました。 ##、つまり、エージェントは

人間と同じように画面を表示し、キーボードとマウスを使用してコンピュータ上のすべてのタスクを完了する必要があります。
過去の長い間、人工知能研究はゲームに基づいていましたが、GCC は一般的な 人工知能 研究にシナリオを提供し、大規模モデルと AI の実装と産業化をさらに促進します。エージェント。
この目的のために、研究チームは、エージェントがキーボード、マウス、マウスを直接制御できるようにする
汎用コンピュータ制御エージェント フレームワーク Cradle
を提案しました。内部 API に依存せずに他の機能を利用でき、オープン ソースかクローズド ソースかを問わず、ソフトウェア インタラクションにより、「レッド デッド リデンプション 2」などの商用 AAA ゲームの傑作もプレイできます。

向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了論文タイトル: 一般的なコンピュータ制御に向けて: ケーススタディとしてのレッド・デッド・リデンプション II のマルチモーダル・エージェント

  • 論文リンク: https://arxiv.org/abs/2403.03186
  • プロジェクトホームページ: https://baai-agents.github.io/Cradle/
  • コードリンク: https://github.com/BAAI-Agents/Cradle
大規模な開発ではAI の発展に伴い、Web の閲覧、スマートフォンの操作、ゲームなどのコンピュータ制御に焦点を当てた AI エージェントの研究が増えています。ただし、既存の研究では、事前定義されたアクションの入力と出力を取得するために内部 API に依存しています。コンピュータ上ですべてのタスクを完了できる
ユニバーサル エージェント
を構築するには、最も一般的で標準的な入出力を使用してコンピュータと対話する必要があります。したがって、汎用コンピュータ制御では入力と出力が統一されており、エージェントの汎用性が可能になります。
しかし、その多機能性は運用上の困難をもたらします: (1) コンピュータ画面を入力として使用すると、たとえば内部 API がないため、エージェントのビデオ理解能力に対する要求が高くなります。 、アクションが正常に実行されたかどうかを判断するには視覚情報が必要です; (2) キーボードとマウスの操作を出力として使用すると、エージェントはより高い時空間操作の精度を要求する必要があります。たとえば、キーボードのキーストロークやマウスのクリックには、通常、追加の時間次元が含まれます。これらの問題をどのように解決するかは、
汎用コンピュータ制御エージェント (GCC エージェント)
を構築するという課題です。
クレイドル: すべてのソフトウェアを制御
「コンピューターとは、ユーザー中心のコンピューティングを指します」 Cradle はキーボードとマウスの操作に重点を置いていますが、コントロール ハンドルやタッチ スクリーンなどに簡単に拡張できます。"

向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了

一般 コンピュータ制御エージェント フレームワーク Cradle は、主に 6 つのモジュール (情報収集、内省、タスク推論、スキル管理、行動計画、記憶モジュール) で構成されています。 Cradle の高度な汎用性は、コンピュータとの対話中の元の入出力の合理的なカプセル化と抽象化によって実現されます。画面に表示されたビデオを入力として受け取り、意思決定のためのテキストと視覚情報を抽出し、基盤となるオペレーティング システムにキーボードとマウスの制御信号を出力してコンピュータと対話し、コンピュータがすべてのソフトウェアに依存せずに対話できるようにします。いかなる仮定のもとでも。

「Cradle は主に、情報収集、内省、タスク推論、スキル管理、行動計画、記憶モジュールの 6 つのモジュールで構成されています。その強力な意思決定推論は、「過去を振り返り、現在を要約し、そして」から生まれます。将来の計画""

同時に、Cradle の強力な意思決定推論モジュールにより、ソフトウェアと自発的に対話してタスクを完了できます。このプロセスは簡単に行うことができます。 過去を振り返り、現在を要約し、将来に向けて計画する

  • 過去を振り返る: 過去の行動プロセスのビデオを入力として使用し、重要なテキスト情報と視覚情報をそれぞれ抽出します。振り返りを通じて、前のアクションが正常に実行されたかどうか、タスクが完了したかどうか、および改善方法を判断します。
  • 今すぐ要約: 反省後、現在の状況を要約し、それをもとにタスクの目的を変更するか、タスクの内容を変更するかを決定します。
  • 将来の計画: 最後に、現在のタスクと現在の状況に基づいてスキルを生成または更新し、学習したスキルから現在のタスクに関連するスキルを取得します。次に、適切なスキルを選択し、実行するアクションとしてインスタンス化します。

#意思決定と推論を行う間、Cradle は文脈記憶と長期記憶に保存された履歴情報を定期的に要約し、維持します。このプロセスの頭脳は GPT-4V のような大規模なマルチモーダル モデルですが、Cradle はこれに要約、反映、記憶などの機能を追加し、一般的なコンピューター制御のための完全なインテリジェント エージェント フレームワークを形成し、普遍性の問題を効果的に解決します。 . もたらされる問題。

クレイドル: 「レッド デッド リデンプション 2」を最初から探索しましょう

##フレームワークの多用途性と強力な意思決定機能を証明するために、研究チームは、最も困難でほとんど調査されていない商用 AAA ゲームの傑作「レッド デッド リデンプション 2」に Cradle を導入することを選択しました。彼らは、操作が最も難しいソフトウェアである Cradle が AAA ゲームのメイン ストーリーを自由に探索し、完了することができれば、このフレームワークが他のゲームやソフトウェアに一般化できる大きな可能性があることを示していると考えています。

向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了 「Minecraft のようなオープンソース ゲームとは異なり、ほとんどの商用ゲーム、特に 3A ゲームは内部 API インターフェイスを提供していないため、Voyager のようなゲームは内部 API に依存して入力とデータを取得します。事前定義されたアクションを出力するフレームワークを他のゲームに移行することはできません。


# GPT-4V に基づいて、Cradle はゲーム内のプロンプトとチュートリアルに基づいて対応する実行可能ファイルを直接生成できます。コードをスキルとして使用して、スキル ライブラリを段階的に強化し、これらのスキルを後続のゲームで再利用します。

向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了間違ったアクションを実行した後、Cradle はリフレクションを通じてエラーを効果的に発見し、修正できます。

向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了クレイドルは、ゲームのガイダンスに従ってゼロから対応するスキルを生成し、40 分のメインストーリーを完了できるだけでなく、自由に探索したり、馬に乗ったり、狩りをしたり、オープンワールドでの戦い、NPCとの会話、小道具の使用、マップの操作、さらにはストアでの買い物もすべて簡単です。これは、商用 AAA ゲームを長時間プレイできる初のロボットです。 ###########################################結論#### ##

オープンソースの Cradle コードは、他のソフトウェアやゲームに簡単に拡張できます。研究チームは、真のユニバーサルコンピュータ制御を実現するために、将来的にはCradleがより多くのソフトウェアやゲームに移植される予定であり、関連する研究チームや業界がさらなる研究と探索を行うことを奨励すると述べた。目標は、インテリジェント エージェントがオープン ソースかクローズ ソースかに関係なく、すべてのソフトウェアと対話できるようにし、普遍性を達成するために継続的に改善し、最終的には一般的な

人工知能

の誕生のゆりかごになることです。

向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了「GCC は AGI のゆりかごです。」

—The Cradle チーム

もう 1 つ: Cradle 技術通訳ライブ ブロードキャスト

3 月 14 日 14:30- にて15時30分、論文の筆頭著者であるシンガポールの南洋理工大学博士課程学生タン・ウェイハオ氏がオンライン通訳レポートを行った。下記のQRコードを読み取ってご登録ください。

向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了

以上がデジタル世界 AGI への移行!エージェントは「レッド・デッド・リデンプション 2」を最初からプレイし始めましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました Aug 09, 2024 pm 04:01 PM

でももしかしたら公園の老人には勝てないかもしれない?パリオリンピックの真っ最中で、卓球が注目を集めています。同時に、ロボットは卓球のプレーにも新たな進歩をもたらしました。先ほど、DeepMind は、卓球競技において人間のアマチュア選手のレベルに到達できる初の学習ロボット エージェントを提案しました。論文のアドレス: https://arxiv.org/pdf/2408.03906 DeepMind ロボットは卓球でどれくらい優れていますか?おそらく人間のアマチュアプレーヤーと同等です: フォアハンドとバックハンドの両方: 相手はさまざまなプレースタイルを使用しますが、ロボットもそれに耐えることができます: さまざまなスピンでサーブを受ける: ただし、ゲームの激しさはそれほど激しくないようです公園の老人。ロボット、卓球用

初のメカニカルクロー!元羅宝は2024年の世界ロボット会議に登場し、家庭に入ることができる初のチェスロボットを発表した 初のメカニカルクロー!元羅宝は2024年の世界ロボット会議に登場し、家庭に入ることができる初のチェスロボットを発表した Aug 21, 2024 pm 07:33 PM

8月21日、2024年世界ロボット会議が北京で盛大に開催された。 SenseTimeのホームロボットブランド「Yuanluobot SenseRobot」は、全製品ファミリーを発表し、最近、世界初の家庭用チェスロボットとなるYuanluobot AIチェスプレイロボット - Chess Professional Edition(以下、「Yuanluobot SenseRobot」という)をリリースした。家。 Yuanluobo の 3 番目のチェス対局ロボット製品である新しい Guxiang ロボットは、AI およびエンジニアリング機械において多くの特別な技術アップグレードと革新を経て、初めて 3 次元のチェスの駒を拾う機能を実現しました。家庭用ロボットの機械的な爪を通して、チェスの対局、全員でのチェスの対局、記譜のレビューなどの人間と機械の機能を実行します。

クロードも怠け者になってしまった!ネチズン: 自分に休日を与える方法を学びましょう クロードも怠け者になってしまった!ネチズン: 自分に休日を与える方法を学びましょう Sep 02, 2024 pm 01:56 PM

もうすぐ学校が始まり、新学期を迎える生徒だけでなく、大型AIモデルも気を付けなければなりません。少し前、レディットはクロードが怠け者になったと不満を漏らすネチズンでいっぱいだった。 「レベルが大幅に低下し、頻繁に停止し、出力も非常に短くなりました。リリースの最初の週は、4 ページの文書全体を一度に翻訳できましたが、今では 0.5 ページの出力さえできません」 !」 https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ というタイトルの投稿で、「クロードには完全に失望しました」という内容でいっぱいだった。

世界ロボット会議で「未来の高齢者介護の希望」を担う家庭用ロボットを囲みました 世界ロボット会議で「未来の高齢者介護の希望」を担う家庭用ロボットを囲みました Aug 22, 2024 pm 10:35 PM

北京で開催中の世界ロボット会議では、人型ロボットの展示が絶対的な注目となっているスターダストインテリジェントのブースでは、AIロボットアシスタントS1がダルシマー、武道、書道の3大パフォーマンスを披露した。文武両道を備えた 1 つの展示エリアには、多くの専門的な聴衆とメディアが集まりました。弾性ストリングのエレガントな演奏により、S1 は、スピード、強さ、正確さを備えた繊細な操作と絶対的なコントロールを発揮します。 CCTVニュースは、「書道」の背後にある模倣学習とインテリジェント制御に関する特別レポートを実施し、同社の創設者ライ・ジエ氏は、滑らかな動きの背後にあるハードウェア側が最高の力制御と最も人間らしい身体指標(速度、負荷)を追求していると説明した。など)、AI側では人の実際の動きのデータが収集され、強い状況に遭遇したときにロボットがより強くなり、急速に進化することを学習することができます。そしてアジャイル

Li Feifei 氏のチームは、ロボットに空間知能を与え、GPT-4o を統合する ReKep を提案しました Li Feifei 氏のチームは、ロボットに空間知能を与え、GPT-4o を統合する ReKep を提案しました Sep 03, 2024 pm 05:18 PM

ビジョンとロボット学習の緊密な統合。最近話題の1X人型ロボットNEOと合わせて、2つのロボットハンドがスムーズに連携して服をたたむ、お茶を入れる、靴を詰めるといった動作をしていると、いよいよロボットの時代が到来するのではないかと感じられるかもしれません。実際、これらの滑らかな動きは、高度なロボット技術 + 精緻なフレーム設計 + マルチモーダル大型モデルの成果です。有用なロボットは多くの場合、環境との複雑かつ絶妙な相互作用を必要とし、環境は空間領域および時間領域の制約として表現できることがわかっています。たとえば、ロボットにお茶を注いでもらいたい場合、ロボットはまずティーポットのハンドルを掴んで、お茶をこぼさないように垂直に保ち、次にポットの口がカップの口と揃うまでスムーズに動かす必要があります。 、そしてティーポットを一定の角度に傾けます。これ

ACL 2024 賞の発表: HuaTech による Oracle 解読に関する最優秀論文の 1 つ、GloVe Time Test Award ACL 2024 賞の発表: HuaTech による Oracle 解読に関する最優秀論文の 1 つ、GloVe Time Test Award Aug 15, 2024 pm 04:37 PM

貢献者はこの ACL カンファレンスから多くのことを学びました。 6日間のACL2024がタイのバンコクで開催されています。 ACL は、計算言語学と自然言語処理の分野におけるトップの国際会議で、国際計算言語学協会が主催し、毎年開催されます。 ACL は NLP 分野における学術的影響力において常に第一位にランクされており、CCF-A 推奨会議でもあります。今年の ACL カンファレンスは 62 回目であり、NLP 分野における 400 以上の最先端の作品が寄せられました。昨日の午後、カンファレンスは最優秀論文およびその他の賞を発表しました。今回の優秀論文賞は7件(未発表2件)、最優秀テーマ論文賞1件、優秀論文賞35件です。このカンファレンスでは、3 つの Resource Paper Award (ResourceAward) と Social Impact Award (

宏蒙スマートトラベルS9とフルシナリオ新製品発売カンファレンス、多数の大ヒット新製品が一緒にリリースされました 宏蒙スマートトラベルS9とフルシナリオ新製品発売カンファレンス、多数の大ヒット新製品が一緒にリリースされました Aug 08, 2024 am 07:02 AM

今日の午後、Hongmeng Zhixingは新しいブランドと新車を正式に歓迎しました。 8月6日、ファーウェイはHongmeng Smart Xingxing S9およびファーウェイのフルシナリオ新製品発表カンファレンスを開催し、パノラマスマートフラッグシップセダンXiangjie S9、新しいM7ProおよびHuawei novaFlip、MatePad Pro 12.2インチ、新しいMatePad Air、Huawei Bisheng Withを発表しました。レーザー プリンタ X1 シリーズ、FreeBuds6i、WATCHFIT3、スマート スクリーン S5Pro など、スマート トラベル、スマート オフィスからスマート ウェアに至るまで、多くの新しいオールシナリオ スマート製品を開発し、ファーウェイは消費者にスマートな体験を提供するフル シナリオのスマート エコシステムを構築し続けています。すべてのインターネット。宏孟志興氏:スマートカー業界のアップグレードを促進するための徹底的な権限付与 ファーウェイは中国の自動車業界パートナーと提携して、

中国初の大型UIモデル登場! Motiff の大規模モデルはデザイナーにとって最適なアシスタントを作成し、UI デザインのワークフローを最適化します 中国初の大型UIモデル登場! Motiff の大規模モデルはデザイナーにとって最適なアシスタントを作成し、UI デザインのワークフローを最適化します Aug 19, 2024 pm 04:48 PM

人工知能は想像を超えるスピードで発展しています。 GPT-4 がマルチモーダル技術を一般に公開して以来、マルチモーダル大型モデルは急速な開発段階に入り、純粋なモデルの研究開発から垂直分野での探査と応用へと徐々に移行し、あらゆる分野に深く統合されています。インターフェイス インタラクションの分野では、Google や Apple などの国際的なテクノロジー大手が、携帯電話 AI 革命を前進させる唯一の方法とみなされている大規模なマルチモーダル UI モデルの研究開発に投資してきました。このような状況の中で、中国初の大規模UIモデルが誕生しました。 8月17日、国際エクスペリエンスデザインカンファレンス「IXDC2024」において、AI時代のデザインツールであるMotiffは、独自開発したUIマルチモーダルモデル「Motiff Model」を発表した。世界初のUIデザインツールです

See all articles