


本当にこんなに滑らかなのでしょうか?ヒントンのグループは、画像とビデオのシーンのスムーズな切り替えを可能にする、大きなパノラマ マスクに基づくインスタンス セグメンテーション フレームワークを提案しました。
パノラマ セグメンテーションは、画像の各ピクセルにセマンティック ラベルとインスタンス ラベルを割り当てることを目的とした基本的なビジョン タスクです。セマンティック ラベルは各ピクセルのカテゴリ (空、垂直オブジェクトなど) を記述し、インスタンス ラベルは画像内の各インスタンスに一意の ID を提供します (同じカテゴリの異なるインスタンスを区別するため)。このタスクは、セマンティック セグメンテーションとインスタンス セグメンテーションを組み合わせて、シーンに関する豊富なセマンティック情報を提供します。
意味ラベルのカテゴリは事前に固定されていますが、画像内のオブジェクトに割り当てられたインスタンス ID は、認識に影響を与えることなく交換できます。たとえば、2 台の車両のインスタンス ID を交換しても、結果には影響しません。したがって、インスタンス ID を予測するようにトレーニングされたニューラル ネットワークは、単一の画像から複数のインスタンス ID の割り当てへの 1 対多のマッピングを学習できる必要があります。 1 対多のマッピングを学習するのは困難であり、従来の方法では、オブジェクトの検出、セグメンテーション、複数の予測のマージなどの多段階パイプラインを利用することがよくあります。最近、一部の学者は、微分可能な二部グラフ マッチングに基づいて、認識マッチングに基づいて 1 対多のマッピングを 1 対 1 のマッピングに効果的に変換できるエンドツーエンドの方法を提案しました。ただし、これらの方法でも、カスタマイズされたアーキテクチャと特殊な損失関数、さらにパノラマ セグメンテーション タスク用の組み込みの誘導バイアスが必要です。
Pix2Seq、OFA、UViM、Unified I/O などの最近の汎用ビジョン モデルは、一般化タスクを実行しながら実行できる一般的なタスク無制限のフレームワークを提唱しています。タスクは以前よりも改善されました モデルははるかにシンプルになりました。たとえば、Pix2Seq は、画像に基づいて意味的に意味のある一連のシーケンスを生成して、いくつかの主要な視覚タスクを完了します。また、これらのモデルは、自己回帰モデルをトレーニングするための Transformer に基づいています。
Google Brain の Ting Chen 氏や Geoffrey Hinton 氏などの研究者は、新しい論文で同じ概念に従い、条件付き離散データ生成の観点からパノラマ セグメンテーション タスクの問題を理解しています。
紙のリンク https://arxiv.org/pdf/2210.06366.pdf
#図 1 に示すように、研究者はパノラマ マスクの生成モデルを設計し、モデルに入力された画像ごとに一連の離散トークンを生成しました。ユーザーは、過去のフレームからの予測を追加の条件付き信号として使用するだけで、このモデルをビデオ データ (オンライン データ/ストリーミング メディア) に適用できます。このようにして、モデルはオブジェクトの追跡とセグメント化を自動的に学習します。
研究者らは、広範な実験を通じて、自分たちの一般的な手法が同様の環境において最先端の専門家による手法と競合できることを実証しました。
モデル アーキテクチャ
拡散モデルのサンプリングは反復的に実行されるため、推論中にネットワークの前方伝播を複数回実行する必要があります。したがって、図 2 に示すように、研究者らはネットワークを意図的に 2 つのコンポーネント (1) 画像エンコーダ、2) マスク デコーダに分割しました。前者は、生のピクセル データを高レベルの表現ベクトルにマッピングし、マスク デコーダがパノラマ マスクを繰り返し読み出します。
ピクセル/画像エンコーダ エンコーダは、元の画像 マスク デコーダ デコーダは、モデル推論中に画像の特徴に基づいて反復的に改良されます。具体的には、研究者が使用しているマスク デコーダは TransUNet です。ネットワークは、エンコーダーからの画像特徴マップとノイズ マスク (ランダムに初期化されるか、エンコード プロセスから反復的に初期化される) の連結を入力として受け取り、マスクの正確な予測を出力します。デコーダと、画像生成および画像から画像への変換に関する標準的な U-Net アーキテクチャとの違いの 1 つは、この論文で使用されている U-Net では、アップサンプリングの前にクロスアテンション層を上部に持つトランスフォーマ デコーダ層を使用していることです。エンコードされた画像の特徴。 ビデオ モードでのアプリケーション 研究者は、次のような画像条件でパノラマ マスクをモデル化します。:p(m|x )。特定のビデオの 3 次元マスク (追加の時間次元を伴う) に基づいて、私たちのモデルをビデオ パノラマ セグメンテーションに直接適用できます。オンライン/ストリーミング ビデオ設定に適応させるために、代わりに p(m_t|x_t,m_(t-1),m_(t-k)) モデリングを使用して、現在の画像と前の画像のマスクに基づいて新しいパノラマを生成できます。瞬間のマスク。図 5 に示すように、この変更は、過去のパノラマ マスク (m_(t-1)、m_(t-k)) を既存のノイズ マスクと連結することによって実現できます。この小さな変更を除けば、その他はすべてビデオの基本モデル (p(m|x)) と同じです。このモデルは非常にシンプルで、画像パノラマ モデルを微調整することでビデオ シーンに適用できます。 この論文では、エキスパート手法と一般手法という 2 つの最先端の手法を比較します。方法。表 1 は、MS-COCO データセットの結果をまとめたものです。 ResNet-50 ベースのバックボーン上の Pix2Seq-D の一般化品質 (PQ) は、最先端の手法と競合します。 UViM などの他の最近の汎用モデルと比較して、当社のモデルはより効率的でありながら、パフォーマンスが大幅に向上しています。 #表 2 Pix2Seq-D と、標準 J&F のメトリクスを使用した、DAVIS データセット上の教師なしビデオ オブジェクト セグメンテーションの最先端の手法との比較。他の一般的なモデルはタスクに直接適用できないため、ベースラインには含まれていないことに注意してください。私たちの方法は、特別な設計を必要とせずに、最先端の方法と同じ結果を達成します。 図 8、9、および 10 は、MS-COCO、Cityscape、および DAVIS での Pix2Seq-D の結果の例を示しています。 を
の特徴マップにマッピングするネットワークです。H' と w' はパノラマ マスクの高さです。そして幅。パノラマ マスクは、元の画像と同じサイズまたはそれより小さいサイズにすることができます。この研究では、研究者らは ResNet をバックボーン ネットワークとして使用し、次に Transformer のエンコーダ層を特徴抽出器として使用しました。出力特徴マップが十分な解像度を持ち、U-Net と特徴ピラミッド ネットワークからインスピレーションを得て、さまざまなスケールの特徴が含まれていることを確認するために、研究者らは、双方向接続による畳み込みと、異なる解像度からマージするアップサンプリング操作を使用しました。アーキテクチャ設計の最新の進歩を利用できる、より複雑なエンコーダを使用することもできますが、これはネットワーク モデルの主な焦点ではないため、研究者は、モデル内でのその役割を説明するために、より単純な特徴抽出器を使用しているだけです。
実験結果
以上が本当にこんなに滑らかなのでしょうか?ヒントンのグループは、画像とビデオのシーンのスムーズな切り替えを可能にする、大きなパノラマ マスクに基づくインスタンス セグメンテーション フレームワークを提案しました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック

0.この記事は何をするのですか?私たちは、多用途かつ高速な最先端の生成単眼深度推定モデルである DepthFM を提案します。従来の深度推定タスクに加えて、DepthFM は深度修復などの下流タスクでも最先端の機能を実証します。 DepthFM は効率的で、いくつかの推論ステップ内で深度マップを合成できます。この作品について一緒に読みましょう〜 1. 論文情報タイトル: DepthFM: FastMonocularDepthEstimationwithFlowMatching 著者: MingGui、JohannesS.Fischer、UlrichPrestel、PingchuanMa、Dmytr

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

世界は狂ったように大きなモデルを構築していますが、インターネット上のデータだけではまったく不十分です。このトレーニング モデルは「ハンガー ゲーム」のようであり、世界中の AI 研究者は、データを貪欲に食べる人たちにどのように餌を与えるかを心配しています。この問題は、マルチモーダル タスクで特に顕著です。何もできなかった当時、中国人民大学学部のスタートアップチームは、独自の新しいモデルを使用して、中国で初めて「モデル生成データフィード自体」を実現しました。さらに、これは理解側と生成側の 2 つの側面からのアプローチであり、両方の側で高品質のマルチモーダルな新しいデータを生成し、モデル自体にデータのフィードバックを提供できます。モデルとは何ですか? Awaker 1.0 は、中関村フォーラムに登場したばかりの大型マルチモーダル モデルです。チームは誰ですか?ソフォンエンジン。人民大学ヒルハウス人工知能大学院の博士課程学生、ガオ・イージャオ氏によって設立されました。

何?ズートピアは国産AIによって実現するのか?ビデオとともに公開されたのは、「Keling」と呼ばれる新しい大規模な国産ビデオ生成モデルです。 Sora も同様の技術的ルートを使用し、自社開発の技術革新を多数組み合わせて、大きく合理的な動きをするだけでなく、物理世界の特性をシミュレートし、強力な概念的結合能力と想像力を備えたビデオを制作します。データによると、Keling は、最大 1080p の解像度で 30fps で最大 2 分の超長時間ビデオの生成をサポートし、複数のアスペクト比をサポートします。もう 1 つの重要な点は、Keling は研究所が公開したデモやビデオ結果のデモンストレーションではなく、ショートビデオ分野のリーダーである Kuaishou が立ち上げた製品レベルのアプリケーションであるということです。さらに、主な焦点は実用的であり、白紙小切手を書かず、リリースされたらすぐにオンラインに移行することです。Ke Ling の大型モデルは Kuaiying でリリースされました。

最近、軍事界は、米軍戦闘機が AI を使用して完全自動空戦を完了できるようになったというニュースに圧倒されました。そう、つい最近、米軍のAI戦闘機が初めて公開され、その謎が明らかになりました。この戦闘機の正式名称は可変安定性飛行シミュレーター試験機(VISTA)で、アメリカ空軍長官が自ら飛行させ、一対一の空戦をシミュレートした。 5 月 2 日、フランク ケンダル米国空軍長官は X-62AVISTA でエドワーズ空軍基地を離陸しました。1 時間の飛行中、すべての飛行動作が AI によって自律的に完了されたことに注目してください。ケンダル氏は「過去数十年にわたり、私たちは自律型空対空戦闘の無限の可能性について考えてきたが、それは常に手の届かないものだと思われてきた」と語った。しかし今では、
