超リアルな描写!アンリアル エンジン テクノロジーの専門家がグローバル イルミネーション システム Lumen について説明します
リアルタイム グローバル イルミネーション (リアルタイム GI) は、常にコンピューター グラフィックスの聖杯でした。
長年にわたって、業界もこの問題を解決するためにさまざまな方法を提案してきました。
一般的に使用されるメソッド パッケージは、静的ジオメトリ、大まかなシーン表現または大まかなプローブの追跡、および 2 つの間の照明の補間などの特定の仮定を利用して、問題領域を制約します。
#Unreal Engine では、グローバル イルミネーションおよび反射システム Lumen テクノロジーが Krzysztof Narkowicz と Daniel Wright によって設立されました。
目標は、以前のものとは異なるソリューションを構築し、統一された照明と焼き付けのような照明品質を実現できるようにすることでした。
最近、SIGGRAPH 2022 で、Krzysztof Narkowicz とそのチームは、Lumen テクノロジー構築の道のりについて語りました。
ソフトウェア レイ トレーシング - 高さフィールド
現在のハードウェア レイ トレーシングには、強力な GPU コンピューティング能力のサポートが不足しています。ハードウェア レイ トレーシングがどれほど高速になるか、あるいは新世代のコンソールがハードウェア レイ トレーシングをサポートするかどうかさえわかりません。
したがって、ソフトウェア レイ トレーシング手法が使用されます。これは、多くのオーバーラップするインスタンスを含むシーンをスケーリングしたりサポートしたりするのに非常に便利なツールであることがわかりました。
ソフトウェア レイ トレーシングでは、三角形、ディスタンス フィールド、サーフェル、ハイト フィールドなどのさまざまなトラッキング構造を使用できます。
ここで、クシシュトフ・ナルコヴィッチは三角形の研究を放棄し、サーフェルを簡単に研究していますが、表現するためにかなりの密度を必要とするジオメトリの場合、サーフェルの更新または追跡はかなりのコストがかかります。
最初の調査の後、ハードウェアにうまくマッピングされ、サーフェス表現と単純な連続 LOD を提供する高さフィールドが最も適していました。
min-max quadtree などのすべての POM アルゴリズムを使用できるため、追跡速度が非常に高速です。
さらに、複数の高さフィールドは、境界ボリューム階層のラスタライズと同様に、複雑なジオメトリを表すことができます。
これをサーフェルの加速構造として考えると非常に興味深いです。単一のテクセルは、規則的なグリッドによって制限されたサーフェルです。
高さフィールドに加えて、Lumen にはアルベドや照明などの他のプロパティがあるため、毎回照明を計算できます。
Lumen では、開発者は、キャプチャ位置であるサーフェス データを含むこの完全なデカール投影を Cards と名付けました。
#ラスタライズされた三角形
レイマーチされたカード (高さフィールド)
レイマーチされたカードは、シーン内の各カードに対して遅すぎます。したがって、カード加速構造が必要であり、開発者は 4 ノード BVH を選択しました。これは、CPU 上のすべてのフレームを使用して完全なシーン用に構築され、GPU にアップロードされます。
次に、トレース シェーダーでスタック ベースのトラバーサルを実行し、最も近いノードが最初にトラバースされるようにノードを動的に順序付けします。
BVH デバッグ ビュー
キャプチャ位置
ここで最も注意が必要な部分は、全体が高さになるように高さフィールドを配置する方法です。ネットはキャプチャされたグリッドです。 Krzysztof Narkowicz 氏は、「アイデアの 1 つは、GPU のグローバル ディスタンス フィールドに基づいています。フレームごとに、小さな一次光線のセットをトレースして、カードでカバーされていない光線を見つけます。
次に、未発見の光線ごとに、表面の勾配を使用してグローバル ディスタンス フィールドを横断し、最適なカードの向きと範囲を決定し、新しいカードを作成します。
グローバル ディスタンス フィールドの位置のキャプチャ
一方で、マージされたシーン全体のカードを生成できることを確認しますカードを生成するためにグリッドを作成する必要はありませんが、その一方で、カメラが移動するたびに異なる結果が生成されるため、実際には非常に注意が必要であることがわかります。各メッシュ カードをメッシュ インポート ステップとして配置します。これを行うには、各ノードが N 枚のカードに変換される幾何学的な BVH を構築します。
次のように:
ラスタライズされた三角形
レイ ステップ カード (ハイ フィールド)
##カード位置ビュー
このメソッドが発生しましたBVH ノードがカードを配置するための適切なプロキシではなかったため、適切な場所を見つける際に問題が発生しました。
そこで、研究者らは別のアイデアを提案しました: UV アンラッピング技術に従い、クラスター化を試みましたNanite が提供する何百万ものポリゴンを扱っていたため、三角形をサーフェス要素に置き換えました。
同時にその後、表面をよりよく一致させるために、制約の少ない無料のガイド カードに切り替えました。
自由にガイドされるカードの位置
この方法を試してみると、単純な形状では非常にうまく機能しますが、より多くの形状に収束する前に、複雑な形状で問題が発生しました。
最後に、Narkowicz は軸に沿ったカードに戻りましたが、今回はビン クラスターとメッシュごとに生成されました。コーン トラッキング
高さフィールドを追跡する独自のプロパティコーン トラッキングも実現できます。
コーン トラッキングは、ノイズを低減するのに役立ちます。事前にフィルタリングされた単一のコーン トレースが数千の個別の光線を表すため、非常に効率的です。
#レイ トレーシング
コーン トラッキング
開発者は、カードごとに、表面の高さ、照明、マテリアルのプロパティを含む完全な事前フィルタリングされたミップマップ チェーンも保存します。
トレースするときは、コーン フットプリントに基づいて適切なステッピング レイを選択し、それに対してレイ トレーシングを実行します。
#ジャムのないエッジとジャムのあるエッジの追跡
マージ シーン表現ソフトウェアで大量のインコヒーレント光線をトレースすると、非常に時間がかかります。理想的には、複数の高さフィールドの代わりに単一のグローバル構造が使用されます。
コーンのフットプリントがますます大きくなると、シーンの正確な表現は実際には必要なくなり、高速化のためにより近似的な表現に置き換えることができます。
##ボクセル コーン トラッキング
レイ ステッピング カードはボクセル コーン トラッキングを続行します
そしてこれがこの方法の主な欠点は漏れです。シーン ジオメトリの過剰な融合が原因で、これは粗い低マッピングを追跡する場合に特に顕著です。
画像漏れを減らす最初の手法は、グローバル距離フィールドを追跡し、表面に近いボクセルのみをサンプリングすることです。サンプリング プロセス中、サンプリング範囲が拡大するにつれて不透明度が蓄積され、追跡が停止されると不透明度は 1 に達します。これにより、常にジオメトリ付近で正確なサンプリングが実行され、グラフィックスの漏れが軽減されます。
2 番目の手法は、メッシュの内部をボクセル化することです。これにより、厚い壁での漏れが大幅に減少しますが、過剰な閉塞が発生する可能性もあります。
他の実験には、まばらなボクセル BLOB と顔の透明度チャネルごとのボクセルの追跡が含まれます。両方の実験の目的は、光線方向のボクセル補間問題を解決することです。つまり、軸が整列した固体の壁は、壁に垂直でない光線に対して透明になります。
ボクセル ビット ブリックは、8x8x8 ブリック内のボクセルごとに 1 ビットを保存し、特定のボクセルが空かどうかを示します。次に、2 段階の DDA アルゴリズムがレイ ステッピングに使用されます。透明なサーフェスを持つボクセルは似ていますが、DDA が同じで、光線方向に沿って透明度が増加します。どちらの方法も距離ドメインほどジオメトリを表現するのが得意ではなく、非常に遅いことがわかりました。
透明性のあるボクセル
マージされた表現を追跡する最も初期の方法は、グローバル距離フィールドとグローバルシーンごとのカードを使用することでした。シェーディング ヒットによりコーン トラッキングが実行されます。つまり、BVH を反復処理し、シーン内のどのカードがサンプリング ポイントに影響を与えるかを特定し、テーパ フットプリントに基づいて各カードの適度なスライド レベルをサンプリングします。
#この記事では、この方法を放棄しました。これは、この方法を遠方界の軌道を表すためだけに使用するとは考えられておらず、次のようにみなされたためです。ハイフィールドライトステッピングの直接の代替品。やや皮肉なことに、この放棄されたアプローチは、2 年後に最終的に到達した解決策に最も近かったのです。
最初のデモこの時点で、すでにかなり良い結果が得られています:
それにもかかわらず、多くのグラフィックス リークの問題が発生し、この単純なシーンでは、ハイエンド PC GPU であってもパフォーマンスが理想的とは言えませんでした。
リーク問題を解決してより多くのインスタンスを処理するために、PS5 では処理が 8 ミリ秒未満で完了します。このデモは本当にきっかけとなりました。
以前のソリューションと比較した場合、最初で最大の変更点は、高さフィールド トラッキングが距離フィールド トラッキングに置き換えられたことです。
ヘルス ポイントをマスクするには、カードからヘルス ポイントのレイを挿入します。距離フィールドには頂点プロパティがないため、この方法では、覆われていない領域はエネルギーの損失のみを引き起こします。漏れではありません。
同じ理由で、ボクセル コーン トレーシングをグローバル ディスタンス フィールド レイ トレーシングに変更します。
同時に、キャッシュ ソリューションを通じて、さまざまな最適化と Lumen のさまざまな部分の時間分割も行いました。コーン トラッキングを使用しない場合は、より積極的にノイズを除去してトラッキングをキャッシュする必要があることに注意してください。ただし、これも長くて複雑な話です。
これは、最初のデモを送信した後の最終結果であり、グローバル ディスタンス フィールドなどのすべての共有データ構造の更新を含め、PS5 では一貫して 8 ミリ秒未満でした。現在のパフォーマンスはさらに向上しており、たとえば最新のデモの完了時間は 4 ミリ秒近くになり、品質も大幅に向上しました。
つまり、この記事は Lumen 全体を完全に書き直したものであり、まだ記載されていないさまざまなアイデアが多数あります。実装されました。一方で、再利用されるものもある。当初と同様に、追跡表現としてカードを使用しましたが、現在はメッシュの表面にさまざまな計算をキャッシュする方法として使用されています。ソフトウェア トラッキングと同様に、これは主にコーン トラッキングを中心とした主要なトラッキング方法として始まりましたが、最終的にはスケールダウンして、多くのオーバーラップするインスタンスを含む複雑で重いシーンをサポートする方法になりました。
以上が超リアルな描写!アンリアル エンジン テクノロジーの専門家がグローバル イルミネーション システム Lumen について説明しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









StableDiffusion3 の論文がついに登場しました!このモデルは2週間前にリリースされ、Soraと同じDiT(DiffusionTransformer)アーキテクチャを採用しており、リリースされると大きな話題を呼びました。前バージョンと比較して、StableDiffusion3で生成される画像の品質が大幅に向上し、マルチテーマプロンプトに対応したほか、テキスト書き込み効果も向上し、文字化けが発生しなくなりました。 StabilityAI は、StableDiffusion3 はパラメータ サイズが 800M から 8B までの一連のモデルであると指摘しました。このパラメーター範囲は、モデルを多くのポータブル デバイス上で直接実行できることを意味し、AI の使用を大幅に削減します。

最初のパイロットおよび重要な記事では、主に自動運転技術で一般的に使用されるいくつかの座標系と、それらの間の相関と変換を完了し、最終的に統合環境モデルを構築する方法を紹介します。ここでの焦点は、車両からカメラの剛体への変換 (外部パラメータ)、カメラから画像への変換 (内部パラメータ)、および画像からピクセル単位への変換を理解することです。 3D から 2D への変換には、対応する歪み、変換などが発生します。要点:車両座標系とカメラ本体座標系を平面座標系とピクセル座標系に書き換える必要がある 難易度:画像の歪みを考慮する必要がある 歪み補正と歪み付加の両方を画面上で補正する2. はじめに ビジョンシステムには、ピクセル平面座標系 (u, v)、画像座標系 (x, y)、カメラ座標系 ()、世界座標系 () の合計 4 つの座標系があります。それぞれの座標系には関係性があり、

自動運転では軌道予測が重要な役割を果たしており、自動運転軌道予測とは、車両の走行過程におけるさまざまなデータを分析し、将来の車両の走行軌跡を予測することを指します。自動運転のコアモジュールとして、軌道予測の品質は下流の計画制御にとって非常に重要です。軌道予測タスクには豊富な技術スタックがあり、自動運転の動的/静的知覚、高精度地図、車線境界線、ニューラル ネットワーク アーキテクチャ (CNN&GNN&Transformer) スキルなどに精通している必要があります。始めるのは非常に困難です。多くのファンは、できるだけ早く軌道予測を始めて、落とし穴を避けたいと考えています。今日は、軌道予測に関するよくある問題と入門的な学習方法を取り上げます。関連知識の紹介 1. プレビュー用紙は整っていますか? A: まずアンケートを見てください。

この論文では、自動運転においてさまざまな視野角 (遠近法や鳥瞰図など) から物体を正確に検出するという問題、特に、特徴を遠近法 (PV) 空間から鳥瞰図 (BEV) 空間に効果的に変換する方法について検討します。 Visual Transformation (VT) モジュールを介して実装されます。既存の手法は、2D から 3D への変換と 3D から 2D への変換という 2 つの戦略に大別されます。 2D から 3D への手法は、深さの確率を予測することで高密度の 2D フィーチャを改善しますが、特に遠方の領域では、深さ予測に固有の不確実性により不正確さが生じる可能性があります。 3D から 2D への方法では通常、3D クエリを使用して 2D フィーチャをサンプリングし、Transformer を通じて 3D と 2D フィーチャ間の対応のアテンション ウェイトを学習します。これにより、計算時間と展開時間が増加します。

著者の個人的な考えの一部 自動運転の分野では、BEV ベースのサブタスク/エンドツーエンド ソリューションの開発に伴い、高品質のマルチビュー トレーニング データとそれに対応するシミュレーション シーンの構築がますます重要になってきています。現在のタスクの問題点に対応して、「高品質」は 3 つの側面に分離できます。 さまざまな次元のロングテール シナリオ: 障害物データ内の近距離車両、車両切断中の正確な進行角、車線などラインデータ 曲率の異なるカーブやランプ・合流・合流などの撮影が難しいシーン。これらは多くの場合、大量のデータ収集と複雑なデータ マイニング戦略に依存しており、コストがかかります。 3D 真の値 - 一貫性の高い画像: 現在の BEV データ取得は、センサーの設置/校正、高精度マップ、再構成アルゴリズム自体のエラーの影響を受けることがよくあります。これが私を導いた

19 年前の論文を突然発見 GSLAM: A General SLAM Framework and Benchmark オープンソース コード: https://github.com/zdzhaoyong/GSLAM 全文に直接アクセスして、この作品の品質を感じてください ~ 1 抽象的な SLAM テクノロジー近年多くの成功を収め、多くのハイテク企業の注目を集めています。ただし、既存または新たなアルゴリズムへのインターフェイスを使用して、速度、堅牢性、移植性に関するベンチマークを効果的に実行する方法は依然として問題です。この論文では、GSLAM と呼ばれる新しい SLAM プラットフォームを提案します。これは、評価機能を提供するだけでなく、研究者が独自の SLAM システムを迅速に開発するための有用な方法を提供します。

この四角い男性は、目の前にいる「招かれざる客」の正体について考えながら眉をひそめていることに注意してください。彼女が危険な状況にあることが判明し、これに気づくと、彼女は問題を解決するための戦略を見つけるためにすぐに頭の中で探索を始めました。最終的に、彼女は現場から逃走し、できるだけ早く助けを求め、直ちに行動を起こすことにしました。同時に、反対側の人も彼女と同じことを考えていた……『マインクラフト』では、登場人物全員が人工知能によって制御されている、そんなシーンがありました。それぞれに個性的な設定があり、例えば先ほどの女の子は17歳ながら賢くて勇敢な配達員です。彼らは記憶力と思考力を持ち、Minecraft の舞台となるこの小さな町で人間と同じように暮らしています。彼らを動かすのはまったく新しいものであり、

9 月 23 日、論文「DeepModelFusion:ASurvey」が国立国防技術大学、JD.com、北京理工大学によって発表されました。ディープ モデルの融合/マージは、複数のディープ ラーニング モデルのパラメーターまたは予測を 1 つのモデルに結合する新しいテクノロジーです。さまざまなモデルの機能を組み合わせて、個々のモデルのバイアスとエラーを補償し、パフォーマンスを向上させます。大規模な深層学習モデル (LLM や基本モデルなど) での深層モデルの融合は、高い計算コスト、高次元のパラメーター空間、異なる異種モデル間の干渉など、いくつかの課題に直面しています。この記事では、既存のディープ モデル フュージョン手法を 4 つのカテゴリに分類します。 (1) 「パターン接続」。損失低減パスを介して重み空間内の解を接続し、より適切な初期モデル フュージョンを取得します。
