ホームページ テクノロジー周辺機器 AI 世界モデルが光る!これら 20 以上の自動運転シナリオ データの現実性は信じられないほどです...

世界モデルが光る!これら 20 以上の自動運転シナリオ データの現実性は信じられないほどです...

Oct 09, 2023 pm 03:01 PM
モデル オートパイロット

これは普通の退屈な自動運転ビデオだと思いますか?

世界モデルが光る!これら 20 以上の自動運転シナリオ データの現実性は信じられないほどです...

このコンテンツの元の意味を変更する必要はありません。中国語に書き直す必要があります。

1 つのフレームも「本物」ではありません。

世界モデルが光る!これら 20 以上の自動運転シナリオ データの現実性は信じられないほどです...

さまざまな道路状況、さまざまな気象条件、 20 を超える 状況をシミュレートでき、その効果は本物とまったく同じです。

世界モデルが光る!これら 20 以上の自動運転シナリオ データの現実性は信じられないほどです...

#ワールドモデルは、その強力な役割を再び示しています。今回、LeCun さんが

世界モデルが光る!これら 20 以上の自動運転シナリオ データの現実性は信じられないほどです...

を見て興奮してリツイートしました 上記の効果は、最新バージョンの GAIA-1 によってもたらされます。

これは

90 億パラメータ の規模を持ち、4700 時間 の運転ビデオ トレーニングを使用して、ビデオ、テキスト、または操作を入力して自動運転を生成する効果を実現します。ビデオ。

最も直接的な利点は、将来のイベントをより正確に予測できることです。 20 以上のシナリオをシミュレーションできるため、自動運転の安全性がさらに向上し、コストが削減されます。

世界モデルが光る!これら 20 以上の自動運転シナリオ データの現実性は信じられないほどです...

クリエイティブ チームは、これは自動運転ゲームのルールを変えるだろうと述べています。

GAIA-1 はどのように実装されますか?実は、Wayve チームが開発した GAIA-1 については、以前 Autonomous Driving Daily で詳しく紹介しました:自動運転のための生成世界モデル。ご興味がございましたら、公式アカウントにアクセスして関連コンテンツをご覧ください。

スケールが大きいほど、効果は高くなります

GAIA-1は、視覚、聴覚、聴覚などの複数の知覚方法を統合することで世界を理解し、生成できるマルチモーダル生成世界モデルです。言語、表現。このモデルは、深層学習アルゴリズムを使用して、大量のデータから世界の構造と法則を学習し推論します。 GAIA-1 の目標は、世界をよりよく理解し、世界と対話するために、人間の知覚と認知能力をシミュレートすることです。自動運転、ロボット工学、仮想現実など、さまざまな分野で幅広い用途があります。継続的なトレーニングと最適化を通じて、GAIA-1 は進化と改善を続け、よりインテリジェントで包括的な世界モデルになります。

ビデオ、テキスト、モーションを入力として使用し、リアルな運転シーンのビデオを生成します。自動運転車のシーン特性を細かく制御できます

テキスト プロンプトのみを使用してビデオを

生成できます

世界モデルが光る!これら 20 以上の自動運転シナリオ データの現実性は信じられないほどです...

そのモデルの原理は、大規模な言語モデルの原理と似ています。つまり、次のトークンを予測します。

このモデルは、ベクトル量子化表現を使用して、次のことを行うことができます。ビデオ フレームを離散化すると、将来のシナリオの予測がシーケンス内の次のトークンの予測に変換されます。次に、拡散モデルを使用して、ワールド モデルの言語空間から高品質のビデオが生成されます。

具体的な手順は次のとおりです。

世界モデルが光る!これら 20 以上の自動運転シナリオ データの現実性は信じられないほどです...

最初の手順は理解しやすく、さまざまな入力を再コード化して配置し、結合します。

特殊なエンコーダを使用してさまざまな入力をエンコードすることにより、さまざまな入力を共有表現に投影できます。テキスト エンコーダーとビデオ エンコーダーは入力を分離して埋め込みますが、操作表現は個別に共有表現に投影されます

これらのエンコードされた表現は時間的に一貫しています

並べ替え後の主要部分

ワールド モデル が表示されます。

自己回帰トランスフォーマーとして、シーケンス内の次の画像トークンのセットを予測する機能があります。以前の画像トークンだけでなく、テキストやアクションのコンテキスト情報も考慮します。

モデルによって生成されたコンテンツは、画像だけでなく、予測されたテキストやアクションとも一貫性を維持します

チームによると、GAIA-1 の世界モデルのサイズは

65 億パラメーター で、64 台の A100 で 15 日間トレーニングされました。

ビデオ デコーダとビデオ拡散モデルを使用することにより、これらのトークンは最終的にビデオに変換されます。

このステップは、ビデオの意味論的な品質、画像の精度、および時間的一貫性に関するものです。

GAIA-1 のビデオ デコーダは 26 億パラメータ の規模を持ち、32 台の A100 を使用して 15 日間トレーニングされました。

GAIA-1 は原理的に大規模言語モデルと類似しているだけでなく、モデル規模が拡大するにつれて生成品質が向上するという 特性を示していることは注目に値します。

世界モデルが光る!これら 20 以上の自動運転シナリオ データの現実性は信じられないほどです...

チームは 6 月にリリースされた初期バージョンと最新の効果を比較しました。

後者は前者の 480 倍の大きさです。

動画のディテールや解像度などが大幅に向上していることが直感的にわかります。

世界モデルが光る!これら 20 以上の自動運転シナリオ データの現実性は信じられないほどです...

実用的な応用という点では、GAIA-1 も影響を及ぼしており、そのクリエイティブ チームは、これが自動運転のルールを変えるだろうと述べています。

世界モデルが光る!これら 20 以上の自動運転シナリオ データの現実性は信じられないほどです...

理由は 3 つの側面から来ています:

    安全性
  • 包括的なトレーニング データ
  • ロングテール シナリオ
まず第一に、安全性の観点から、世界モデルは未来をシミュレーションし、自動運転の安全性にとって重要な自身の決定を認識する能力を AI に与えることができます。

第二に、トレーニング データも自動運転にとって非常に重要です。生成されるデータはより安全で、より安価で、無限に拡張可能です。

生成 AI は、自動運転が直面する大きな課題であるロングテール シナリオを解決できます。霧の天候で道路を横断する歩行者に遭遇するなど、より多くのエッジケースに対応できます。これにより、自動運転のパフォーマンスがさらに向上します。

Wayve とは何ですか?

GAIA-1 は英国の自動運転スタートアップ

Wayve から提供されています。

Wayve は

Microsoft などの投資家とともに 2017 年に設立され、その評価額は Unicorn に達しています。

創設者は、現在の CEO である Alex Kendall と Amar Shah です (同社の公式 Web サイトのリーダーシップ ページには、もう彼らに関する情報はありません)。2 人ともケンブリッジ大学を卒業し、機械学習の博士号を取得しています

世界モデルが光る!これら 20 以上の自動運転シナリオ データの現実性は信じられないほどです...

技術ロードマップでは、テスラと同様に、ウェイブはカメラを使用した純粋に視覚的なソリューションを提唱し、高精度地図を非常に早い段階で放棄し、「瞬間認識」路線をしっかりと守ります。

つい最近、チームがリリースした別の大型モデル

LINGO-1 もセンセーションを巻き起こしました。

この自動運転モデル​​は、運転中にリアルタイムで説明を生成できるため、モデルの解釈可能性がさらに向上します

今年 3 月には、ビル ゲイツ氏も Wayve の Self-Driving に試乗しました。車の運転。

世界モデルが光る!これら 20 以上の自動運転シナリオ データの現実性は信じられないほどです...

文書アドレス: https://arxiv.org/abs/2309.17080

世界モデルが光る!これら 20 以上の自動運転シナリオ データの現実性は信じられないほどです...書き換える必要がある内容は次のとおりです: 元のリンク: https://mp.weixin.qq.com/s/bwTDovx9-UArk5lx5pZPag

以上が世界モデルが光る!これら 20 以上の自動運転シナリオ データの現実性は信じられないほどです...の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

自動運転シナリオにおけるロングテール問題を解決するにはどうすればよいでしょうか? 自動運転シナリオにおけるロングテール問題を解決するにはどうすればよいでしょうか? Jun 02, 2024 pm 02:44 PM

昨日の面接で、ロングテール関連の質問をしたかと聞かれたので、簡単にまとめてみようと思いました。自動運転のロングテール問題とは、自動運転車におけるエッジケース、つまり発生確率が低い考えられるシナリオを指します。認識されているロングテール問題は、現在、単一車両のインテリジェント自動運転車の運用設計領域を制限している主な理由の 1 つです。自動運転の基礎となるアーキテクチャとほとんどの技術的問題は解決されており、残りの 5% のロングテール問題が徐々に自動運転の開発を制限する鍵となってきています。これらの問題には、さまざまな断片的なシナリオ、極端な状況、予測不可能な人間の行動が含まれます。自動運転におけるエッジ シナリオの「ロング テール」とは、自動運転車 (AV) におけるエッジ ケースを指します。エッジ ケースは、発生確率が低い可能性のあるシナリオです。これらの珍しい出来事

世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです 世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです May 07, 2024 pm 04:13 PM

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました Jun 01, 2024 pm 10:03 PM

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました Apr 09, 2024 am 11:52 AM

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

Google は大喜び: JAX のパフォーマンスが Pytorch や TensorFlow を上回りました! GPU 推論トレーニングの最速の選択肢となる可能性があります Google は大喜び: JAX のパフォーマンスが Pytorch や TensorFlow を上回りました! GPU 推論トレーニングの最速の選択肢となる可能性があります Apr 01, 2024 pm 07:46 PM

Google が推進する JAX のパフォーマンスは、最近のベンチマーク テストで Pytorch や TensorFlow のパフォーマンスを上回り、7 つの指標で 1 位にランクされました。また、テストは最高の JAX パフォーマンスを備えた TPU では行われませんでした。ただし、開発者の間では、依然として Tensorflow よりも Pytorch の方が人気があります。しかし、将来的には、おそらくより大規模なモデルが JAX プラットフォームに基づいてトレーニングされ、実行されるようになるでしょう。モデル 最近、Keras チームは、ネイティブ PyTorch 実装を使用して 3 つのバックエンド (TensorFlow、JAX、PyTorch) をベンチマークし、TensorFlow を使用して Keras2 をベンチマークしました。まず、主流のセットを選択します

nuScenes の最新 SOTA | SparseAD: スパース クエリは効率的なエンドツーエンドの自動運転に役立ちます。 nuScenes の最新 SOTA | SparseAD: スパース クエリは効率的なエンドツーエンドの自動運転に役立ちます。 Apr 17, 2024 pm 06:22 PM

先頭と開始点に書かれている エンドツーエンドのパラダイムでは、統一されたフレームワークを使用して自動運転システムのマルチタスクを実現します。このパラダイムの単純さと明確さにも関わらず、サブタスクにおけるエンドツーエンドの自動運転手法のパフォーマンスは、依然としてシングルタスク手法に比べてはるかに遅れています。同時に、以前のエンドツーエンド手法で広く使用されていた高密度鳥瞰図 (BEV) 機能により、より多くのモダリティやタスクに拡張することが困難になります。ここでは、スパース検索中心のエンドツーエンド自動運転パラダイム (SparseAD) が提案されています。このパラダイムでは、スパース検索は、高密度の BEV 表現を使用せずに、空間、時間、タスクを含む運転シナリオ全体を完全に表します。具体的には、統合されたスパース アーキテクチャが、検出、追跡、オンライン マッピングなどのタスク認識のために設計されています。さらに、重い

エンドツーエンドおよび次世代の自動運転システムと、エンドツーエンドの自動運転に関する誤解について話しましょう。 エンドツーエンドおよび次世代の自動運転システムと、エンドツーエンドの自動運転に関する誤解について話しましょう。 Apr 15, 2024 pm 04:13 PM

この 1 か月間、いくつかのよく知られた理由により、私は業界のさまざまな教師やクラスメートと非常に集中的な交流をしてきました。この交換で避けられない話題は当然、エンドツーエンドと人気の Tesla FSDV12 です。この機会に、現時点での私の考えや意見を整理し、皆様のご参考とご議論に役立てたいと思います。エンドツーエンドの自動運転システムをどのように定義するか、またエンドツーエンドで解決することが期待される問題は何でしょうか?最も伝統的な定義によれば、エンドツーエンド システムとは、センサーから生の情報を入力し、関心のある変数をタスクに直接出力するシステムを指します。たとえば、画像認識では、従来の特徴抽出 + 分類子方式と比較して、CNN はエンドツーエンドと言えます。自動運転タスクでは、各種センサー(カメラ/LiDAR)からのデータを入力

See all articles