プリンストン・インフィニジェン・マトリックスがオープンしました！ AIクリエイターが自然を100％作り出す、爆発するほど本物そっくり

ネオは、自分が住んでいる世界が現実ではなく、慎重に設計されたシミュレートされた現実であることに気づきます。

#そして、私たちが住んでいる世界がシミュレートされたマトリックスの世界であると少し考えたことはありますか。

そして今、マトリックスが正式にオープンしました。

静寂を感じ、この人類が生きてきた久しい地球、大自然の一切、都は幻の世界である。

北極の氷河から太陽が昇ります。水中世界には、さまざまな種類の奇妙な魚や色とりどりのサンゴ礁が存在します。

山々には雪が舞い、広大な空には鷲が飛び立っています。灼熱の砂漠を危険なヘビが縦横無尽に飛び回ります。

川のそばの小さな木々が火で燃え上がり、煙が充満していました。

透き通った海と小川、浜辺でのんびりと日向ぼっこをするウミガメ、空にはたくさんのトンボ遊ぶ。

#洞窟の中で変化する光と影。

#降り注ぐ雨粒と風に舞う紅葉が、突然時を止めた。

あなたが見ているものはすべて人工知能によってデザインされています。彼らのシミュレーションは現実そのものと間違えられるほどリアルです。

このマトリックスへの扉を開いたチームはプリンストン出身で、研究結果が発表されるやいなや、インターネット上で大騒ぎを引き起こしました。

ネチズンは次々に、私たちはマトリックスの中に住んでいると言いました！

研究者らは論文の中で、「 Infinigen 」は、自然界のリアルな 3D シーンを作成するプロシージャル ジェネレーターです。

Infinigen は形状からテクスチャに至るまで完全に手続き型であり、すべてランダムな数学的ルールに従って最初から生成されます。

自然界の植物、動物、地形、火、雲、雨など、無限に変化します。雪やその他の自然現象。

最新の論文が CVPR 2023 に採択されました。

#論文アドレス: https://arxiv.org/pdf/2306.09310.pdf

Infinigen は、無料のオープンソース グラフィック ツール Blender 上に構築されており、Infinigen もオープンソースです。

1080p 画像のペアが 3.5 時間で生成できることは言及する価値があります。

Infinigen CV Data Generator

プリンストン大学が提案した Infinigen は、簡単にカスタマイズしてさまざまなデータを生成できます。特定のタスクの現実。

は次のようになり、自然界の多様性をシミュレートします。

そしてその最も重要な役割は、幅広い範囲の無制限のトレーニング データのジェネレーターとして使用できることです。コンピュータービジョンのタスク。

その中には、ターゲット検出、セマンティック セグメンテーション、姿勢推定、3D 再構成、ビュー合成、ビデオ生成などが含まれます。

さらに、物理ロボットや仮想実体エージェントをトレーニングするためのシミュレーション環境の構築にも使用できます。

もちろん、3D プリント、ゲーム開発、仮想現実、映画制作、一般的なコンテンツ作成はすべて利用可能です。

次に、Infinigen システムがどのように設計されているかを見てみましょう。

Blender のプレビュー。

研究者らは主に、手続きルールの開発に Blender を使用しています。Blender は、さまざまなプリミティブおよび実用的なツールを提供するオープンソースの 3D モデリング ソフトウェアです。

Blender は、配置されたオブジェクトの階層としてシーンを表します。

ユーザーは、オブジェクトの変換、プリミティブの追加、メッシュの編集によってこの表現を変更します。

Blender は、最も一般的な 3D ファイル形式のインポート/エクスポートを提供します。

最後に、Blender のすべては Python API を介して、またはオープン ソース コードをチェックアウトすることで自動化できます。

ノード トランスレータ。

Infinigen の一環として、研究者はプログラムによるモデリングを加速するための新しいツール セットを開発しました。

注目すべき例の 1 つは、図に示すように、ノード グラフを Python コードに自動的に変換する研究者のノード コンバーターです。

結果として得られるコードはより一般的であり、研究者は入力パラメータだけでなくグラフ構造をランダム化することができます。

このツールを使用すると、ノード図の表現力が高まり、Python または C で直接開発された他のプログラム ルールと簡単に統合できます。

また、プログラマ以外の人でも、ノード グラフを作成して Python コードを Infinigen に提供できます。

ジェネレーター サブシステム。 Infinigen は、資産のサブクラス (山や魚など) を生成することに特化した確率的プログラムであるジェネレーターで構成されています。

各ジェネレーターには、ユーザーの好みを反映する一連の高レベルのパラメーター (山の全体の高さなど) があります。 -制御可能な外部自由度。

デフォルトでは、研究者はユーザーの入力なしに、自然を反映するように調整された分布に基づいてこれらのパラメーターをランダムにサンプリングします。

ただし、ユーザーは研究者の Python API を使用してパラメータをオーバーライドし、データ生成をきめ細かく制御することもできます。

下の写真は、地形のみを含むランダムなシーンです。研究者らは、さまざまなタイプの自然シーンの 13 枚の画像を選択しました。

とは、山、川の増水、雪山、海岸の日の出、水中、北極の氷山、砂漠、洞窟、渓谷、浮島です。

下の写真は、煙、滝、火山の噴火シーンなど、火災をシミュレートするランダムに生成された写真です。

葉、花、キノコ、松ぼっくり。

木、サボテン、低木。 ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃ 海の生物。

さまざまな種類の表面。

#下の図は、生き物の生成を示しています。

研究者らは、さまざまなゲノム (a)、身体部分 (b)、身体部分のスプライシング (c)、髪の毛 (d)、および身体の姿勢 (e) を自動的に生成しました。

写真の右側には、研究者によってランダムに生成された肉食動物、草食動物、鳥、甲虫、魚が展示されています。

下の図では、研究者はプログラムによってランダムなシーン レイアウトを作成しました (a)。

研究者は、必要なすべての画像コンテンツを生成し (b、各メッシュ面の色を表示するため)、プロシージャル マテリアルとディスプレイスメントを適用します (c)。

最後に実際のイメージをレンダリングします (d)。

下の図は、動的解像度スケーリングを示しています。

研究者らは、異なる距離にある同じ内容の 3 台のカメラのクローズアップ グリッド視覚化を実証しました。

グリッド解像度は異なりますが、最終画像には変化が見られません。

#実験結果

Infinigen を評価するために、研究者は 30,000 個の画像ペアを作成しました。修正されたステレオマッチングのためのグラウンドトゥルースを持っています。

研究者らは、これらの画像で RAFTStereo のトレーニングを開始し、ミドルベリー検証セットとテスト セットでの結果を比較しました。

#本日リリースされたリサーチ コードが収集されました星99個。

「ウエストワールド」の既視感

NVIDIA の科学者ジム ファン氏は、私たちがウエストワールドにいるとき、こう言いました。現実 適切なトレーニング データがない場合、シミュレーションが次の「宝の山」になります。

ここで、Infinigen は、プログラムで生成された、3D ビジョン用の現実的なデータ セットであるオープン ソースです。品質は素晴らしいです！同じ世界は二つとありません。

▸ 花びらのプリーツも含め、あらゆる細部がランダムでカスタマイズ可能です。

▸ 自然界のさまざまなオブジェクトやシーン: 植物、動物、地形、火、雲、雨、雪。

▸ 基本真実の自動アノテーション: オプティカル フロー、3D シーン フロー、深度、表面法線ベクトル、パノラマ セグメンテーション、閉じた境界。

▸ Blender で書かれています。

一部のネチズンは、これは私にとって本当に目を見張るものだと言いました。 Blender で 3D 世界を手続き的に生成します。 AIを使わずに、想像できる世界を自由に作り出すことができます。

Daz3D などのツールを組み合わせて世界を作成し、Blockade Labs を使用してスカイボックスを作成し、Convai を使用して NPC を作成します。

Infinigen が人工知能コンピューター ビジョン研究で役割を果たすだろうと言う人もいます。

彼は、将来は人工知能がすべてを処理すると信じています。

たとえば、霧の森の中に滝のある村を作りたいと考えています。

人工知能に森の詳細な説明を書き、それを 3D 世界ジェネレーターに送信するように指示します。

ワールドが生成されたら、村にキャラクターを追加できます。これらの人々は人工知能によって制御され、相互作用、会話、記憶を持つことになります。

#ウェストワールドのラッシュのようなもの。

さらに、一部のネチズンは、手続き型生成は 20 年前から存在していると言いました (私は 15 年前からやっています)。 「No Man's SKY」は 5 年前のテクノロジーの好例です。

Infinigen のハイライトは、ラベル付きデータを生成することです。このデータは AI のトレーニングに使用できます。それはクレイジーです。

一部のネチズンは、近い将来、ゲームがクレイジーになるだろうと想像しています...「独立した」ゲーム開発プレイヤーは、クレイジーなハイエンドコンテンツをローンチできるようになります。

#Infinigen の生成は非常にリアルなので、Unreal Engine によって生成されたのではないかと考える人もいます。

著者について

Alexander Raistrick

##Alexander Raistrick は、プリンストン大学コンピューター サイエンス学部の博士課程 2 年生で、指導教官は Jia Deng です。

ラハヴ・リプソン

ラハヴ・リプソンはプリンストン大学博士課程3年生。

彼の研究は、3D ビジョンのためのディープ ネットワークの構築に焦点を当てており、エピポーラ幾何学に関する強力な仮定を活用して一般化とテストの精度を向上させています。

#Zeyu Ma

##Zeyu Ma は A です。プリンストン大学ビジョン・アンド・ラーニング研究所の博士課程3年生。彼は 2020 年に清華大学で電子工学の学士号を取得しました。現在の研究は、マルチビュー 3D 再構成と手続き型データ生成に焦点を当てています。

以上がプリンストン・インフィニジェン・マトリックスがオープンしました！ AIクリエイターが自然を100％作り出す、爆発するほど本物そっくりの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。