目次
動作メカニズムは人間からインスピレーションを得ています
ホームページ テクノロジー周辺機器 AI AIが人間の脳の記憶モデルを模倣し、ゲームスコアが29.9%急上昇

AIが人間の脳の記憶モデルを模倣し、ゲームスコアが29.9%急上昇

Jun 06, 2023 am 11:13 AM
モデル 効率

私たちはよく「行動する前によく考えて」、蓄積された経験を最大限に活用するように教えられますが、この言葉は AI にもインスピレーションを与えました。

従来の意思決定AIモデルは、忘却効果の存在により効果的に経験を蓄積することができませんでしたが、中国主導の研究によりAIの記憶方法が変わりました。

新しい記憶方法は人間の脳を模倣し、AI の経験蓄積効率を効果的に向上させ、それによって AI のゲーム パフォーマンスを 29.9% 向上させます。

研究チームは、ミラ ケベック AI 研究所とマイクロソフト モントリオール研究所のそれぞれ 6 名で構成されており、そのうち 4 名は中国人です。

彼らは、その結果をメモリ付き意思決定変換器 (DT-Mem) と名付けました。

従来の意思決定モデルと比較して、DT-Mem は適用範囲が広く、モデル運用の効率も高くなります。

アプリケーションの効果に加えて、DT-Mem のトレーニング時間も最小 200 時間から 50 時間に短縮されました。

同時に、チームは、DT-Mem がトレーニングされていない新しいシナリオに適応できるようにする微調整方法も提案しました。

微調整されたモデルは、これまで学習していないゲームでも優れたパフォーマンスを発揮します。

動作メカニズムは人間からインスピレーションを得ています

従来の意思決定モデルは LLM に基づいて設計されており、暗黙的メモリを使用しており、そのパフォーマンスはデータと計算に依存します。

暗黙記憶は意図的に記憶されるのではなく無意識に生成されるため、意識的に思い出すことはできません。

もっと簡単に言うと、関連するコンテンツは明らかにそこに保存されていますが、モデルはその存在を知りません。

この暗黙記憶の特性が従来のモデルにおける忘却現象を決定づけ、作業効率の低下につながります。

忘却現象は、問題を解決するための新しい方法を学習した後、古い問題と新しい問題が同じタイプであっても、モデルが古い内容を忘れてしまう可能性があるという点で現れます。

人間の脳は 分散記憶ストレージ 方式を採用しており、記憶内容は脳の複数の異なる領域に分散して保存されます。

このアプローチは、複数のスキルを効果的に管理および整理するのに役立ち、それによって忘れる現象を軽減します。

これに触発されて、研究チームは、さまざまな下流タスクのための情報を保存、混合、取得するための内部作業記憶モジュールを提案しました。

具体的には、DT-Mem は、トランスフォーマー、メモリ モジュール、および多層認識 (MLP) モジュールの 3 つの部分で構成されます。

AIが人間の脳の記憶モデルを模倣し、ゲームスコアが29.9%急上昇

DT-Mem の Transformer は GPT-2 のアーキテクチャを模倣していますが、アテンション メカニズムの後のフィードフォワード層を削除しています。

同時に、GPT-2 の MLP モジュールは DT-Mem の一部として独立したコンポーネントに分割されます。

この 2 つの中間として、研究チームは中間情報を保存および処理するための作業記憶モジュールを導入しました。

この構造は、メモリを使用してさまざまなアルゴリズムを推論するニューラル チューリング マシンからインスピレーションを得ています。

メモリ モジュールは、Transformer によって出力された情報を分析し、その保存場所と、それを既存の情報と統合する方法を決定します。

さらに、このモジュールでは、この情報が将来の意思決定プロセスでどのように使用されるかについても検討します。

AIが人間の脳の記憶モデルを模倣し、ゲームスコアが29.9%急上昇

#これらのタスクは、大まかに 5 つのステップで完了します。まず、メモリ モジュールがランダム マトリックスとして初期化されます。

次に入力情報の並べ替えですが、このステップでは情報を Transformer に渡すのではなく、タプルの形式で同じ空間に格納します。

その後、保存場所を決定する必要があります。人間は通常、関連する情報を同じ場所に保存しますが、DT-Mem もこの原則に基づいています。

最後の 2 つのステップであるメモリの更新と取得は、メモリ モジュールの中核であり、DT-Mem 全体の最も重要なリンクです。

メモリの更新とは、タスクのニーズに合わせて情報を適時に更新できるように、既存の情報を編集および置換することを意味します。

このステップでは、DT-Mem は消去ベクトルと書き込みベクトルを計算し、それらを既存のデータと混合する方法を決定します。

メモリの検索とは、既存の情報にアクセスして回復することであり、意思決定が必要な場合に関連する有用な情報をタイムリーに取得することです。

実際に使用する前に、DT-Mem は事前トレーニング プロセスを通過する必要があります。

AIが人間の脳の記憶モデルを模倣し、ゲームスコアが29.9%急上昇

DT-Mem の微調整に関しても、チームは新しい手法を提案しました。

DT-Mem はタスクに基づいてラベル付けされたデータを使用するため、この種の微調整は DT-Mem が新しいタスクに適応するのに役立ちます。

このプロセスは、低ランク適応 (LoRA) に基づいており、既存のマトリックスに低ランク要素を追加します。

AIが人間の脳の記憶モデルを模倣し、ゲームスコアが29.9%急上昇

トレーニング時間は最大 32 分の 1 に短縮されます

DT-Mem の意思決定能力をテストするために、研究チームは次のことを行いました。それはいくつかのゲームゲームをプレイします。

全部で 5 つのゲームがあり、すべて Atari からのものです。

同時に、チームはリファレンスとして従来モデル M[ulti-game]DT のパフォーマンスもテストしました。

結果として、DT-Mem の 4 試合の最高成績はすべて MDT よりも優れていました。

具体的には、DT-Mem は MDT と比較して DQN 正規化スコアを 29.9% 改善します。

AIが人間の脳の記憶モデルを模倣し、ゲームスコアが29.9%急上昇

ただし、DT-Mem のパラメータ量は 20M に過ぎず、MDT (200M パラメータ) の 10% に過ぎません。

これほどのパフォーマンスは大したものと言っても過言ではありません。

DT-Mem は、優れたパフォーマンスに加えて、トレーニング効率も MDT を上回ります。

MDT の 13M パラメータ バージョンのトレーニングには 200 時間かかりますが、20M DT-Mem のトレーニングには 50 時間しかかかりません。

200M バージョンと比較すると、トレーニング時間は 32 倍短縮されますが、パフォーマンスはさらに優れています。

AIが人間の脳の記憶モデルを模倣し、ゲームスコアが29.9%急上昇

#チームが提案した微調整方法のテスト結果は、この微調整により DT-Mem の適応能力が向上することも示しています。未知のシナリオ。

以下の表のテストに使用されたゲームは MDT に知られているため、MDT のパフォーマンスはこのラウンドの測定の基礎として使用されないことに注意してください。

AIが人間の脳の記憶モデルを模倣し、ゲームスコアが29.9%急上昇

チームは、ゲームのプレイに加えて、Meta-World ML45 ベンチマークを使用して DT-Mem のテストも行いました。

今回参考にしたのはH[yper]DTとP[romot]DTです。

結果は、微調整を行わないモデルでは、DT-Mem スコアが HDT より 8 パーセント ポイント高いことを示しています。

ここでテストした HDT には 69K のパラメータしかありませんが、230 万のパラメータを持つ事前トレーニング済みモデルに依存しているため、実際のパラメータ数は DT-Mem の 10 倍以上であることに注意してください ( 147K).倍。

AIが人間の脳の記憶モデルを模倣し、ゲームスコアが29.9%急上昇

紙のアドレス: https://arxiv.org/ abs/2305.16338

以上がAIが人間の脳の記憶モデルを模倣し、ゲームスコアが29.9%急上昇の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです 世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです May 07, 2024 pm 04:13 PM

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました Jun 01, 2024 pm 10:03 PM

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

Google は大喜び: JAX のパフォーマンスが Pytorch や TensorFlow を上回りました! GPU 推論トレーニングの最速の選択肢となる可能性があります Google は大喜び: JAX のパフォーマンスが Pytorch や TensorFlow を上回りました! GPU 推論トレーニングの最速の選択肢となる可能性があります Apr 01, 2024 pm 07:46 PM

Google が推進する JAX のパフォーマンスは、最近のベンチマーク テストで Pytorch や TensorFlow のパフォーマンスを上回り、7 つの指標で 1 位にランクされました。また、テストは最高の JAX パフォーマンスを備えた TPU では行われませんでした。ただし、開発者の間では、依然として Tensorflow よりも Pytorch の方が人気があります。しかし、将来的には、おそらくより大規模なモデルが JAX プラットフォームに基づいてトレーニングされ、実行されるようになるでしょう。モデル 最近、Keras チームは、ネイティブ PyTorch 実装を使用して 3 つのバックエンド (TensorFlow、JAX、PyTorch) をベンチマークし、TensorFlow を使用して Keras2 をベンチマークしました。まず、主流のセットを選択します

AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました Apr 09, 2024 am 11:52 AM

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

テスラのロボットは工場で働く、マスク氏:手の自由度は今年22に達する! テスラのロボットは工場で働く、マスク氏:手の自由度は今年22に達する! May 06, 2024 pm 04:13 PM

テスラのロボット「オプティマス」の最新映像が公開され、すでに工場内で稼働可能となっている。通常の速度では、バッテリー(テスラの4680バッテリー)を次のように分類します:公式は、20倍の速度でどのように見えるかも公開しました - 小さな「ワークステーション」上で、ピッキング、ピッキング、ピッキング:今回は、それがリリースされたハイライトの1つビデオの内容は、オプティマスが工場内でこの作業を完全に自律的に行​​い、プロセス全体を通じて人間の介入なしに完了するというものです。そして、オプティマスの観点から見ると、自動エラー修正に重点を置いて、曲がったバッテリーを拾い上げたり配置したりすることもできます。オプティマスのハンドについては、NVIDIA の科学者ジム ファン氏が高く評価しました。オプティマスのハンドは、世界の 5 本指ロボットの 1 つです。最も器用。その手は触覚だけではありません

FisheyeDetNet: 魚眼カメラに基づいた最初のターゲット検出アルゴリズム FisheyeDetNet: 魚眼カメラに基づいた最初のターゲット検出アルゴリズム Apr 26, 2024 am 11:37 AM

目標検出は自動運転システムにおいて比較的成熟した問題であり、その中でも歩行者検出は最も初期に導入されたアルゴリズムの 1 つです。ほとんどの論文では非常に包括的な研究が行われています。ただし、サラウンドビューに魚眼カメラを使用した距離認識については、あまり研究されていません。放射状の歪みが大きいため、標準のバウンディング ボックス表現を魚眼カメラに実装するのは困難です。上記の説明を軽減するために、拡張バウンディング ボックス、楕円、および一般的な多角形の設計を極/角度表現に探索し、これらの表現を分析するためのインスタンス セグメンテーション mIOU メトリックを定義します。提案された多角形モデルの FisheyeDetNet は、他のモデルよりも優れたパフォーマンスを示し、同時に自動運転用の Valeo 魚眼カメラ データセットで 49.5% の mAP を達成しました。

Llama 70B を実行するシングル カードはデュアル カードより高速、Microsoft は FP6 を A100 オープンソースに強制導入 Llama 70B を実行するシングル カードはデュアル カードより高速、Microsoft は FP6 を A100 オープンソースに強制導入 Apr 29, 2024 pm 04:55 PM

FP8 以下の浮動小数点数値化精度は、もはや H100 の「特許」ではありません。 Lao Huang は誰もが INT8/INT4 を使用できるようにしたいと考え、Microsoft DeepSpeed チームは NVIDIA からの公式サポートなしで A100 上で FP6 の実行を開始しました。テスト結果は、A100 での新しい方式 TC-FPx の FP6 量子化が INT4 に近いか、場合によってはそれよりも高速であり、後者よりも精度が高いことを示しています。これに加えて、エンドツーエンドの大規模モデルのサポートもあり、オープンソース化され、DeepSpeed などの深層学習推論フレームワークに統合されています。この結果は、大規模モデルの高速化にも即座に影響します。このフレームワークでは、シングル カードを使用して Llama を実行すると、スループットはデュアル カードのスループットの 2.65 倍になります。 1つ

See all articles