ジミー リンの顔の 3D 再構成は、2 台の A100 と 2D CNN で実現できます。
三次元再構築 (3D Reconstruction) テクノロジーは、コンピューター グラフィックスおよびコンピューター ビジョンの分野において常に重要な研究分野です。
簡単に言えば、3D 再構成とは、2D 画像に基づいて 3D シーン構造を復元することです。
ジミー・リンが交通事故に遭った後、彼の顔の復元計画には三次元復元が使用されたと言われています。
三次元再構築のさまざまな技術ルートの統合が期待される
実際、三次元再構築技術はゲームでも活用されています。 、映画、測量、測位、ナビゲーション、自動運転、VR/AR、工業製造および消費財分野で広く使用されています。
GPU と分散コンピューティング、ハードウェアの発展に伴い、Microsoft の Kinect、Asus の XTion、Intel の RealSense などの深度カメラが徐々に成熟し、3D 再構築のコストが上昇しました。増加傾向にあるが、減少傾向を示している。
運用上、3D 再構成プロセスは大きく 5 つのステップに分けることができます。
最初のステップは、画像を取得することです。
3D 再構成はカメラの逆操作であるため、最初にカメラを使用して 3D オブジェクトの 2D 画像を取得する必要があります。
照明条件、カメラの幾何学的特性などが後続の画像処理に大きな影響を与えるため、このステップは無視できません。
2 番目のステップはカメラのキャリブレーションです。
このステップでは、カメラでキャプチャした画像を使用して空間内のオブジェクトを復元します。
通常、カメラで捉えた画像と 3 次元空間の物体との間には線形関係があると仮定され、その線形関係のパラメータを解くプロセスは次のようになります。カメラキャリブレーションと呼ばれます。
#3 番目のステップは特徴抽出です。
フィーチャには、主にフィーチャ ポイント、フィーチャ ライン、領域が含まれます。
ほとんどの場合、特徴点はマッチング プリミティブとして使用され、特徴点が抽出される形式は、使用されるマッチング戦略と密接に関係します。
したがって、特徴点を抽出するときは、まずどのマッチング方法を使用するかを決定する必要があります。
#4 番目のステップはステレオ マッチングです。ステレオマッチングとは、抽出された特徴に基づいて画像ペア間の対応関係、つまり 2 つの異なる画像内の同じ物理空間点の撮像点間の対応関係を確立することを指し、1 対 1 に対応します。
#5 番目のステップは 3 次元再構築です。
比較的正確なマッチング結果と、カメラ キャリブレーションの内部パラメータと外部パラメータを組み合わせて、3 次元シーン情報を復元できます。
これらの 5 つのステップは連動しており、各リンクが高精度かつ小さな誤差で行われて初めて、比較的正確な立体視システムを設計できます。
アルゴリズムに関しては、3D 再構成は大きく 2 つのカテゴリに分類でき、1 つは従来の多視点ジオメトリに基づく 3D 再構成アルゴリズムです。
#もう 1 つは、深層学習に基づく 3 次元再構成アルゴリズムです。
現在、画像特徴マッチングにおける CNN の大きな利点により、ますます多くの研究者が深層学習に基づく 3 次元再構成に注目し始めています。
ただし、この方法はほとんどが教師あり学習方法であり、データセットに大きく依存します。
データセットの収集とラベル付けは、教師あり学習にとって常に問題の原因となっているため、深層学習に基づく 3 次元再構成は主に、より小さなデータセットの再構成の方向で研究されています。オブジェクト。
さらに、深層学習に基づく 3 次元再構成は忠実度が高く、精度の点で優れたパフォーマンスを発揮します。
しかし、モデルのトレーニングには多くの時間がかかり、3D 再構成に使用される 3D 畳み込み層は非常に高価です。
そこで、一部の研究者は従来の三次元再構成手法を再検討し始めました。
従来の 3 次元再構成手法にはパフォーマンスの点で欠点がありますが、この技術は比較的成熟しています。
したがって、2 つの方法を特定に統合すると、より良い結果が得られる可能性があります。
3D 畳み込み層を使用しない 3D 再構成
ロンドン大学、オックスフォード大学、Google、Niantic より (Google の各機関の研究者からスピンアウト) AR を研究する Unicorn Company など) は、3D 畳み込みを必要としない 3D 再構成方法を研究しました。
彼らは、シンプルな最先端のマルチビュー深度推定器を提案しています。
このマルチビュー深度推定器には 2 つの画期的な点があります。
1 つ目は、強力な画像事前分布を利用して、平面スキャン特徴量と幾何学的損失を取得できる、慎重に設計された 2 次元 CNN です。
2 つ目は、キーフレームと幾何学的メタデータをコスト ボリュームに統合し、情報に基づいた深度平面スコアリングを可能にする機能です。
研究者らによると、彼らの方法は深度推定において現在の最先端の方法より明らかに優れています。
これは、ScanNet および 7-Scenes での 3D 再構成に近いか、それ以上の性能を備えていますが、それでもオンラインでのリアルタイムの低メモリ再構成が可能です。
さらに、再構成速度は非常に速く、1 フレームあたりわずか約 73 ミリ秒しかかかりません。
研究者らは、これにより高速深層融合による正確な再構成が可能になると考えています。
#研究者らによると、彼らの方法では、画像エンコーダを使用して参照画像からデータを抽出し、一致する特徴を抽出し、それらをコスト ボリュームに入力し、2D 畳み込みエンコーダ/デコーダ ネットワークを使用してコスト ボリュームの出力結果を処理します。
調査は PyTorch を使用して実装され、一致特徴抽出には ResNet18 を使用し、2 つの 40GB A100 GPU も使用し、全体の作業を 36 時間で完了しました。
さらに、このモデルは 3D 畳み込み層を使用していませんが、深度予測インジケーターではベースライン モデルを上回っています。
これは、慎重に設計されトレーニングされた 2D ネットワークが高品質の深度推定に十分であることを示しています。
興味のある読者は、論文の原文を読むことができます:
https://nianticlabs.github.io/ simplerecon /resources/SimpleRecon.pdf
ただし、この論文を読むには専門的な基準があり、一部の詳細は簡単には気づかない可能性があることに注意してください。
海外のネチズンがこの論文から何を発見したかを見てみるのもいいかもしれません。
「stickshiftplease」という名前のネチズンは、「A100 の推論時間は約 70 ミリ秒ですが、これはさまざまなテクニックで短縮でき、メモリ要件はそれほど高くありません」と述べています。 40GB、最小モデルでは 2.6GB のメモリを搭載。」
「IrreverentHippie」という名前の別のネチズンは、「この研究はまだLiDAR深度センサーのサンプリングに基づいていることに注意してください。これが、この方法が品質と精度の理由でこれほど優れた結果を達成する理由です。」と指摘しました。 。
「ニックソーピー」という名前の別のネチズンは、「ToF カメラの長所と短所は十分に文書化されています。ToF は、元の画像処理を悩ませるさまざまな問題を解決します。そのうちの 2 つの大きな問題は、スケーラビリティと詳細。ToF では、テーブルの端や細いポールなどの小さな詳細を識別するのが常に困難です。これは、自律または半自律アプリケーションにとって非常に重要です。センサー、混雑した交差点や自作の倉庫などで複数のセンサーを一緒に使用すると、画質が急速に低下します。シーンが多いほど、より正確な記述を作成できます。多くの研究者は、より柔軟な生の画像データを研究することを好みます。」
以上がジミー リンの顔の 3D 再構成は、2 台の A100 と 2D CNN で実現できます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









上記と著者の個人的な理解 3 次元ガウシアンプラッティング (3DGS) は、近年、明示的な放射線フィールドとコンピューター グラフィックスの分野で出現した革新的なテクノロジーです。この革新的な方法は、数百万の 3D ガウスを使用することを特徴とし、主に暗黙的な座標ベースのモデルを使用して空間座標をピクセル値にマッピングする神経放射線場 (NeRF) 方法とは大きく異なります。明示的なシーン表現と微分可能なレンダリング アルゴリズムにより、3DGS はリアルタイム レンダリング機能を保証するだけでなく、前例のないレベルの制御とシーン編集も導入します。これにより、3DGS は、次世代の 3D 再構築と表現にとって大きな変革をもたらす可能性のあるものとして位置付けられます。この目的を達成するために、私たちは 3DGS 分野における最新の開発と懸念について初めて体系的な概要を提供します。

上記および筆者の個人的な理解: 現在、自動運転システム全体において、認識モジュールが重要な役割を果たしている。道路を走行する自動運転車は、認識モジュールを通じてのみ正確な認識結果を得ることができる。下流の規制および制御モジュール自動運転システムでは、タイムリーかつ正確な判断と行動決定が行われます。現在、自動運転機能を備えた自動車には通常、サラウンドビューカメラセンサー、ライダーセンサー、ミリ波レーダーセンサーなどのさまざまなデータ情報センサーが搭載されており、さまざまなモダリティで情報を収集して正確な認識タスクを実現しています。純粋な視覚に基づく BEV 認識アルゴリズムは、ハードウェア コストが低く導入が容易であるため、業界で好まれており、その出力結果はさまざまな下流タスクに簡単に適用できます。

0.前面に書かれています&& 自動運転システムは、さまざまなセンサー (カメラ、ライダー、レーダーなど) を使用して周囲の環境を認識し、アルゴリズムとモデルを使用することにより、高度な知覚、意思決定、および制御テクノロジーに依存しているという個人的な理解リアルタイムの分析と意思決定に。これにより、車両は道路標識の認識、他の車両の検出と追跡、歩行者の行動の予測などを行うことで、安全な運行と複雑な交通環境への適応が可能となり、現在広く注目を集めており、将来の交通分野における重要な開発分野と考えられています。 。 1つ。しかし、自動運転を難しくしているのは、周囲で何が起こっているかを車に理解させる方法を見つけることです。これには、自動運転システムの 3 次元物体検出アルゴリズムが、周囲環境にある物体 (位置を含む) を正確に認識し、記述することができる必要があります。

これほど強力なAIの模倣能力では、それを防ぐことは本当に不可能です。 AIの発展は今ここまで進んでいるのか?前足で顔の特徴を浮き上がらせ、後ろ足で全く同じ表情を再現し、見つめたり、眉を上げたり、口をとがらせたり、どんなに大袈裟な表情でも完璧に真似しています。難易度を上げて、眉毛を高く上げ、目を大きく開き、口の形も歪んでいるなど、バーチャルキャラクターアバターで表情を完璧に再現できます。左側のパラメータを調整すると、右側の仮想アバターもそれに合わせて動きが変化し、口や目の部分がアップになります。同じです(右端)。この研究は、GaussianAvatars を提案するミュンヘン工科大学などの機関によるものです。

前に書かれたプロジェクトのリンク: https://nianticlabs.github.io/mickey/ 2 枚の写真が与えられた場合、それらの写真間の対応関係を確立することで、それらの間のカメラのポーズを推定できます。通常、これらの対応は 2D 対 2D であり、推定されたポーズはスケール不定です。いつでもどこでもインスタント拡張現実などの一部のアプリケーションでは、スケール メトリクスの姿勢推定が必要なため、スケールを回復するために外部深度推定器に依存します。この論文では、3D カメラ空間でのメトリックの対応を予測できるキーポイント マッチング プロセスである MicKey を提案します。画像全体の 3D 座標マッチングを学習することで、相対的なメトリックを推測できるようになります。

この記事は自動運転ハート公式アカウントより許可を得て転載しておりますので、転載については出典元までご連絡ください。原題: MotionLM: Multi-Agent Motion Forecasting as Language Modeling 論文リンク: https://arxiv.org/pdf/2309.16534.pdf 著者の所属: Waymo 会議: ICCV2023 論文のアイデア: 自動運転車の安全計画のために、将来の動作を確実に予測するロードエージェントの数は非常に重要です。この研究では、連続的な軌跡を離散的なモーション トークンのシーケンスとして表現し、マルチエージェントのモーション予測を言語モデリング タスクとして扱います。私たちが提案するモデル MotionLM には次の利点があります。

上記と著者の個人的な理解: この論文は、自動運転アプリケーションにおける現在のマルチモーダル大規模言語モデル (MLLM) の主要な課題、つまり MLLM を 2D 理解から 3D 空間に拡張する問題の解決に特化しています。自動運転車 (AV) は 3D 環境について正確な決定を下す必要があるため、この拡張は特に重要です。 3D 空間の理解は、情報に基づいて意思決定を行い、将来の状態を予測し、環境と安全に対話する車両の能力に直接影響を与えるため、AV にとって重要です。現在のマルチモーダル大規模言語モデル (LLaVA-1.5 など) は、ビジュアル エンコーダーの解像度制限や LLM シーケンス長の制限により、低解像度の画像入力しか処理できないことがよくあります。ただし、自動運転アプリケーションには次の要件が必要です。

原題: Radocc: LearningCross-ModalityOccupancyKnowledgethroughRenderingAssistedDistillation 論文リンク: https://arxiv.org/pdf/2312.11829.pdf 著者単位: FNii、CUHK-ShenzhenSSE、CUHK-Shenzhen Huawei Noah's Ark Laboratory Conference: AAAI2024 Paper Idea: 3D Occupancy Prediction isこれは、マルチビュー画像を使用して 3D シーンの占有状態とセマンティクスを推定することを目的とした新たなタスクです。ただし、幾何学的事前分布が欠如しているため、画像ベースのシナリオは
