2 枚の写真を 2 秒で 3D 再構成!この AI ツールは GitHub で人気です、ネチズンはソラのことは忘れてください
写真は 2 枚だけです。、追加のデータを測定する必要はありません。——
Dangdang、完全な 3D クマがそこにあります:
##DUSt3R というこの新しいツールは非常に人気があり、公開されて間もなく GitHub ホット リストで 2 位にランクされました。 ##。
必要な作業は少なくなります2 秒以上 ! (3D 画像に加えて、深度マップ、信頼度マップ、点群画像も提供できます)
これはすごい友人はこう言わなければなりません:
みんな
soraのことは忘れてください
まず、これは私たちが実際に見て触れることができるものです。# 実験では、DUSt3R が単眼/多視点深度推定と相対姿勢推定の 3 つのタスクで SOTA を達成することを示しています。
著者チーム (フィンランド、アアルト大学、NAVER LABS人工知能研究所欧州支部より)
私たちは、世界から難しい 3D ビジュアル タスクを必要としないようにすることです。
それでは、どうやって行うのでしょうか?マルチビュー ステレオ再構成「オールインワン」
(MVS)
タスクの最初のステップは、内部パラメータと内部パラメータを含むカメラ パラメータを推定することです。外部パラメータ。 この操作は退屈で面倒ですが、後続の 3 次元空間内のピクセルの三角形分割には不可欠であり、これはパフォーマンスが向上するほぼすべての MVS アルゴリズムの切り離せない部分です。この記事の研究において、著者のチームによって導入された DUSt3R は、まったく異なるアプローチを採用しました。
It は、カメラのキャリブレーションや視点姿勢に関する事前情報を必要とせず、任意の画像の高密度または制約のない 3D 再構成を完了できます。 ここで、チームはペアワイズ再構成問題をポイントプロット回帰として定式化し、単眼と両眼の再構成状況を統合します。3 つ以上の入力イメージが提供される場合、ポイント イメージのすべてのペアは、シンプルで効果的なグローバル アライメント戦略を通じて共通の参照フレームに表現されます。 下の図に示すように、未知のカメラ ポーズと固有の特徴を持つ写真のセットが与えられると、DUSt3R は対応するポイント マップのセットを出力します。そこから、通常は推定が難しいさまざまな幾何学量を直接復元できます。カメラパラメータ、ピクセル対応、深度マップ、完全に一貫した 3D 再構築効果など。
(著者は、DUSt3R が単一の入力画像にも適用できることを思い出させます)特定のネットワーク アーキテクチャに関して言えば、DUSt3R
に基づいており、CroCo (ビュー全体にわたる 3D ビジョン タスクの自己教師あり事前トレーニングに関する研究)
からインスピレーションを得て採用されました。単純な回帰損失トレーニングが完了しました。下の図に示すように、シーンの 2 つのビュー (I1, I2) は、最初に共有 ViT エンコーダーを使用して Siamese (Siamese) モードでエンコードされます。 。
結果のトークン表現(F1 および F2)
は、クロス アテンションを渡す 2 つの Transformer デコーダーに渡されます。 情報は常に交換されます。 。#最後に、2 つの回帰ヘッドは 2 つの対応点マップと関連する信頼度マップを出力します。 重要な点は、両方のポイント マップが最初のイメージと同じ座標系で表される必要があるということです。
マルチタスク SOTA
実験では、まず 7Scenes (7 つの屋内シーン) および Cambridge Landmarks (8 つの屋外シーン) データセットで DUST3R のパフォーマンスを評価します。絶対姿勢推定タスクの場合、指標は平行移動誤差と回転誤差 (値が小さいほど優れています) です。
著者は、他の既存の特徴マッチングやエンドツーエンドの手法と比較して、DUSt3R のパフォーマンスは顕著であると述べています。
なぜなら、視覚的な位置決めのトレーニングを一度も受けたことがなく、第二に、トレーニング プロセス中にクエリ画像やデータベース画像に遭遇したことがないからです。
2 番目は、10 個のランダムなフレームに対して実行されるマルチビュー ポーズ回帰タスクです。結果 DUST3R は両方のデータセットで最高の結果を達成しました。
単眼の深度推定タスクでは、DUSt3R は屋内および屋外のシーンも適切に保持でき、自己教師ありベースラインよりも優れたパフォーマンスを発揮しますが、最先端の教師ありベースラインとは異なります。 . 上下。
マルチビュー深度推定の点でも、DUSt3R のパフォーマンスは優れています。
以下は、2 つの担当者グループによって与えられた 3D 再構成効果です。雰囲気を伝えるために、入力した画像は 2 つだけです:
(1 )
(2)
ネチズンによる実測: 2つの写真が重ならなければOK
はい ネットユーザーが DUST3R に重複するコンテンツのない 2 つの画像を提供したところ、数秒以内に正確な 3D ビューが出力されました。
(写真は彼のオフィスなので、トレーニング中に見たことはないと思います)
これに対して、一部のネチズンは、これはつまり、 「客観的な測定」を行い、代わりに AI のように動作します。
さらに、入力画像が 2 つの異なるカメラで撮影された場合でもこの方法が有効かどうかを知りたい人もいます ?
一部のネチズンが実際に試してみたところ、答えは yes!
ポータル:
[1]論文 https://arxiv.org/abs/2312.14132
[2]コード https://arxiv.org/abs/2312.14132 ://github.com/naver/dust3r
以上が2 枚の写真を 2 秒で 3D 再構成!この AI ツールは GitHub で人気です、ネチズンはソラのことは忘れてくださいの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









0.この記事は何をするのですか?私たちは、多用途かつ高速な最先端の生成単眼深度推定モデルである DepthFM を提案します。従来の深度推定タスクに加えて、DepthFM は深度修復などの下流タスクでも最先端の機能を実証します。 DepthFM は効率的で、いくつかの推論ステップ内で深度マップを合成できます。この作品について一緒に読みましょう〜 1. 論文情報タイトル: DepthFM: FastMonocularDepthEstimationwithFlowMatching 著者: MingGui、JohannesS.Fischer、UlrichPrestel、PingchuanMa、Dmytr

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

iPhone のモバイル データ接続に遅延や遅い問題が発生していませんか?通常、携帯電話の携帯インターネットの強度は、地域、携帯ネットワークの種類、ローミングの種類などのいくつかの要因によって異なります。より高速で信頼性の高いセルラー インターネット接続を実現するためにできることがいくつかあります。解決策 1 – iPhone を強制的に再起動する 場合によっては、デバイスを強制的に再起動すると、携帯電話接続を含む多くの機能がリセットされるだけです。ステップ 1 – 音量を上げるキーを 1 回押して放します。次に、音量小キーを押して、もう一度放します。ステップ 2 – プロセスの次の部分は、右側のボタンを押し続けることです。 iPhone の再起動が完了するまで待ちます。セルラーデータを有効にし、ネットワーク速度を確認します。もう一度確認してください 修正 2 – データ モードを変更する 5G はより優れたネットワーク速度を提供しますが、信号が弱い場合はより適切に機能します

世界は狂ったように大きなモデルを構築していますが、インターネット上のデータだけではまったく不十分です。このトレーニング モデルは「ハンガー ゲーム」のようであり、世界中の AI 研究者は、データを貪欲に食べる人たちにどのように餌を与えるかを心配しています。この問題は、マルチモーダル タスクで特に顕著です。何もできなかった当時、中国人民大学学部のスタートアップチームは、独自の新しいモデルを使用して、中国で初めて「モデル生成データフィード自体」を実現しました。さらに、これは理解側と生成側の 2 つの側面からのアプローチであり、両方の側で高品質のマルチモーダルな新しいデータを生成し、モデル自体にデータのフィードバックを提供できます。モデルとは何ですか? Awaker 1.0 は、中関村フォーラムに登場したばかりの大型マルチモーダル モデルです。チームは誰ですか?ソフォンエンジン。人民大学ヒルハウス人工知能大学院の博士課程学生、ガオ・イージャオ氏によって設立されました。

最近、軍事界は、米軍戦闘機が AI を使用して完全自動空戦を完了できるようになったというニュースに圧倒されました。そう、つい最近、米軍のAI戦闘機が初めて公開され、その謎が明らかになりました。この戦闘機の正式名称は可変安定性飛行シミュレーター試験機(VISTA)で、アメリカ空軍長官が自ら飛行させ、一対一の空戦をシミュレートした。 5 月 2 日、フランク ケンダル米国空軍長官は X-62AVISTA でエドワーズ空軍基地を離陸しました。1 時間の飛行中、すべての飛行動作が AI によって自律的に完了されたことに注目してください。ケンダル氏は「過去数十年にわたり、私たちは自律型空対空戦闘の無限の可能性について考えてきたが、それは常に手の届かないものだと思われてきた」と語った。しかし今では、
