目次
現在の主流のピクセルごとのセグメンテーション モデルのほとんどuse Depth ネットワークはピクセル特徴を抽出し、ソフトマックス分類器を使用してピクセル特徴を分類します。そのネットワーク アーキテクチャは 2 つの部分で構成されます。
オンライン ハイブリッド最適化
実験結果
ホームページ テクノロジー周辺機器 AI 生成セマンティック セグメンテーションの新しいパラダイムである GMMSeg は、閉集合と開集合の両方の認識を処理できます。

生成セマンティック セグメンテーションの新しいパラダイムである GMMSeg は、閉集合と開集合の両方の認識を処理できます。

May 02, 2023 am 08:34 AM
モデル

現在の主流のセマンティック セグメンテーション アルゴリズムは、基本的にソフトマックス分類器に基づく識別分類モデルです。これは p (クラス|ピクセル特徴) を直接モデル化し、基礎となるピクセル データ分布、つまり p (クラス| ピクセル特徴) を完全に無視します。ピクセル機能)。これにより、OOD (配布外) データに対するモデルの表現力と一般化が制限されます。

最近の研究で、浙江大学、シドニー工科大学、Baidu Research Institute の研究者は、混合ガウス モデル (GMM) 生成セマンティック セグメンテーション モデルに基づいた、新しいセマンティック セグメンテーション パラダイムを提案しました。 GMMSeg.

生成セマンティック セグメンテーションの新しいパラダイムである GMMSeg は、閉集合と開集合の両方の認識を処理できます。

  • 論文リンク: https://arxiv.org/abs/2210.02025
  • コードリンク: https://github.com/leonnnop/GMMSeg

GMMSeg はピクセルとカテゴリの結合分散を実行します。 EM アルゴリズムを使用してピクセル特徴空間内のガウス混合分類器 (GMM 分類器) を学習し、生成パラダイムを使用して各カテゴリのピクセル特徴分布を細かく捕捉します。一方、GMMSeg は識別損失を採用して、深い特徴抽出器をエンドツーエンドで最適化します。これにより、GMMSeg には識別モデルと生成モデルの両方の利点が得られます。

実験結果は、GMMSeg がさまざまなセグメンテーション アーキテクチャおよびバックボーン ネットワーク上でパフォーマンスの向上を達成したことを示しています。同時に、後処理や微調整を行わずに、GMMSeg を直接実行できることを示しています。異常セグメンテーションタスクに適用されます。

これまでのところ、セマンティック セグメンテーション手法で単一のモデル インスタンスを使用できるのはこれが初めてです。クローズドセット (クローズドセット)およびオープン オープンワールド条件下で高度なパフォーマンスを同時に達成します。また、生成分類器が大規模な視覚タスクにおいて利点を実証したのはこれが初めてです。

識別分類子と生成分類子

生成セマンティック セグメンテーションの新しいパラダイムである GMMSeg は、閉集合と開集合の両方の認識を処理できます。

既存のセグメンテーション パラダイムと提案された方法を詳しく説明する前に、ここで簡単に説明します。識別分類子と生成分類子の概念。

データセット D があり、サンプルとラベルのペア (xx, y) が含まれているとします。分類器の最終目標はサンプルを予測することです。分類確率 p ( y|#xxx)。分類方法は、識別分類子と生成分類子の 2 つのカテゴリに分類できます。

    判別分類器: 条件付き確率 p (y|#xxx
  • ) を直接モデル化します。分類に最適な決定境界のみを学習しますが、サンプル自体の分布なので、サンプルの特性を反映することはできません。 生成分類器: まず同時確率分布 p (
  • xx
  • , y) をモデル化し、次にベイズの定理を通じて分類条件付き確率を導出します。その明示的なモデル化は、データ自体の分布に応じて、多くの場合、カテゴリごとに対応するモデルが確立されます。識別分類器と比較して、サンプルの特性情報を十分に考慮します。

主流のセマンティック セグメンテーション パラダイム: 識別 Softmax 分類器生成セマンティック セグメンテーションの新しいパラダイムである GMMSeg は、閉集合と開集合の両方の認識を処理できます。

現在の主流のピクセルごとのセグメンテーション モデルのほとんどuse Depth ネットワークはピクセル特徴を抽出し、ソフトマックス分類器を使用してピクセル特徴を分類します。そのネットワーク アーキテクチャは 2 つの部分で構成されます。

最初の部分は

ピクセル特徴抽出器 で、その典型的なアーキテクチャはエンコーダ/デコーダです。ペアの場合、RGB 空間のピクセル入力を D 次元の高次元空間にマッピングすることでピクセル特徴が得られます。

2 番目の部分は ピクセル分類器 で、主流のソフトマックス分類器であり、入力ピクセル特徴を C クラス Real にエンコードします。出力 (ロジット) を数値化し、次にソフトマックス関数を使用して出力 (ロジット) を正規化し、確率の意味を割り当てます。つまり、ロジットを使用してピクセル分類の事後確率を計算します。

最終的に、2 つの部分で構成される完全なモデルは、クロスエントロピー損失を使用してエンドツーエンドで最適化されます。 生成セマンティック セグメンテーションの新しいパラダイムである GMMSeg は、閉集合と開集合の両方の認識を処理できます。

#ここ このプロセスでは、モデルはピクセル自体の分布を無視し、ピクセル分類予測の条件付き確率 p (c|x) を直接推定します。主流のソフトマックス分類器は本質的に

生成セマンティック セグメンテーションの新しいパラダイムである GMMSeg は、閉集合と開集合の両方の認識を処理できます。

#識別分類器

# であることがわかります。 判別分類器は単純な構造を持ち、その最適化目標は判別誤差を減らすことを直接の目的としているため、多くの場合、優れた判別パフォーマンスを実現できます。ただし、同時に、既存の研究では注目されていないいくつかの致命的な欠点があり、ソフトマックス分類器の分類パフォーマンスと一般化に大きな影響を与えます。まず第一に、これは決定境界をモデル化するだけであり、ピクセルの特徴の分布を完全に無視するため、各カテゴリの固有の特性をモデル化して利用することができず、一般化と表現の能力が弱まります。

2 番目に、単一のパラメーター ペア (w,b) を使用してクラスをモデル化します。つまり、ソフトマックス分類器は単峰性の仮定に依存します。非常に強力で単純化しすぎた仮定は、実際のアプリケーションでは成り立たないことが多く、その結果、次善のパフォーマンスしか得られません。

  • 最後に、ソフトマックス分類器の出力は、真の確率的意味を正確に反映できません。その最終予測は、他のカテゴリと比較する場合の参照としてのみ使用できます。これは、多くの主流のセグメンテーション モデルが OOD 入力を検出することが難しい根本的な理由でもあります。
  • これらの問題に対応して、著者は現在の主流の識別パラダイムを再考する必要があると考えており、対応する解決策がこの記事で提供されています: 生成的意味セグメンテーション モデル— — GMMSeg.
  • 生成セマンティック セグメンテーション モデル: GMMSeg
  • 著者は、生成モデルの観点からセマンティック セグメンテーション プロセスを再編成しました。分類確率 p (c|#xxx
  • ) を直接モデル化するのと比較して、生成分類器は同時分布 p (
x

, c) をモデル化し、ベイズの定理分類確率を使用してそれを導出します。

その中で、一般化を考慮して、カテゴリ事前 p (c) は一様分布に設定されることが多く、カテゴリ条件付き分布をモデル化する方法ピクセル特徴の p (#xx|c) が現在の主な問題となっています。 この論文、つまり GMMSeg では、混合ガウス モデルを使用して p (xx

|c) をモデル化します。これは次の形式になります。

生成セマンティック セグメンテーションの新しいパラダイムである GMMSeg は、閉集合と開集合の両方の認識を処理できます。

成分の数が制限されていない場合、混合ガウス モデルは理論的にはあらゆる分布に適合できるため、非常にエレガントで強力であると同時に、ハイブリッド モデルの性質により、マルチモダリティのモデル化、つまりクラス内変動のモデル化も可能になります。これに基づいて、この記事では最尤推定を使用してモデルのパラメーターを最適化します。

古典的なソリューションは EM アルゴリズムです。 E-M - F の 2 段階の段階的最適化 - 関数:

を交互に実行することにより

生成セマンティック セグメンテーションの新しいパラダイムである GMMSeg は、閉集合と開集合の両方の認識を処理できます。

混合ガウス モデルの最適化に特有です。EM アルゴリズムは、データ ポイントが E ステップの各サブモデルに属する確率を実際に再推定します。言い換えれば、これは E ステップでのピクセルのソフト クラスタリングと同等であり、その後、M ステップでクラスタリングの結果を使用してモデル パラメータを再度更新できます。

生成セマンティック セグメンテーションの新しいパラダイムである GMMSeg は、閉集合と開集合の両方の認識を処理できます。

しかし、実際のアプリケーションでは、標準の EM アルゴリズムの収束が遅く、最終結果が不十分であることが著者はわかりました。著者は、EM アルゴリズムがパラメーター最適化の初期値に敏感すぎるため、より良い局所極点に収束することが困難になっているのではないかと考えています。最適輸送理論に基づく一連の最近のクラスタリング アルゴリズムに触発され、著者は混合モデル分布の前に追加の均一性を導入しています。

生成セマンティック セグメンテーションの新しいパラダイムである GMMSeg は、閉集合と開集合の両方の認識を処理できます。

これに対応して、パラメータ最適化プロセスの E ステップは、次のように制約付き最適化問題に変換されます。

生成セマンティック セグメンテーションの新しいパラダイムである GMMSeg は、閉集合と開集合の両方の認識を処理できます。

#このプロセスは直感的に理解でき、同等です。クラスタリング プロセスに分散制約が導入されます。クラスタリング プロセス中に、データ ポイントを各サブモデルにある程度まで均等に分散できます。この制約を導入した後、この最適化プロセスは、次の式にリストされている最適伝送問題と同等になります。

生成セマンティック セグメンテーションの新しいパラダイムである GMMSeg は、閉集合と開集合の両方の認識を処理できます。

この式では、Sinkhorn-Knopp を使用できます。アルゴリズムはすぐに解決します。改良された最適化プロセス全体は Sinkhorn EM と呼ばれます。これは、いくつかの理論研究によって、標準の EM アルゴリズムと同じグローバル最適解を持ち、ローカル最適解に陥る可能性が低いことが証明されています。

オンライン ハイブリッド最適化

その後、完全な最適化プロセスで、この記事ではオンライン ハイブリッド最適化モードを使用します。生成シンホーン EM を通じて、ガウス混合分類器は次のようになります。段階的に更新される特徴空間で継続的に最適化され、フレームワーク全体の別の部分、つまりピクセル特徴抽出部分では、生成分類器の予測結果に基づいて、識別クロスエントロピー損失を伴う最適化を使用します。 2 つの部分が交互に最適化され、相互に調整されるため、モデル全体が緊密に結合され、エンドツーエンドのトレーニングが可能になります。このプロセス、特徴 抽出部分は勾配逆伝播を通じてのみ最適化され、生成分類器部分は SinkhornEM を通じてのみ最適化されます。この交互の最適化設計により、モデル全体をコンパクトに統合し、識別モデルと生成モデルの利点を継承することができます。

生成セマンティック セグメンテーションの新しいパラダイムである GMMSeg は、閉集合と開集合の両方の認識を処理できます。

最終的に、GMMSeg は生成分類アーキテクチャとオンライン ハイブリッド トレーニング戦略の恩恵を受け、識別ソフトマックス分類器にはない機能を実証します。利点:

  • 第一に、GMMSeg はそのユニバーサル アーキテクチャの利点を活かして、ほとんどの主流のセグメンテーション モデルと互換性があり、つまり、分類にソフトマックスを使用するモデルと互換性があり、識別ソフトマックス分類器を置き換えるだけで済みます。既存モデルの性能。
  • 第 2 に、ハイブリッド トレーニング モードの適用により、GMMSeg は生成分類器と識別分類器の利点を組み合わせ、softmax がクラス内変更をモデル化できないという問題をある程度解決します。 ; 識別性能が大幅に向上します。
  • 第三に、GMMSeg はピクセル特徴の分布、つまり p (xx|c) を明示的にモデル化します。GMMSeg は、サンプルがそれぞれの特徴に属する確率を直接与えることができます。 category 、これにより、目に見えない OOD データを自然に処理できるようになります。

実験結果

実験結果は、CNN アーキテクチャに基づいているか、Transformer アーキテクチャに基づいているかにかかわらず、広く使用されているセマンティック セグメンテーション データでより良い結果を達成できることを示しています。セット (ADE20K、Cityscapes、COCO-Stuff) では、GMMSeg は安定した明らかなパフォーマンスの向上を実現できます。

生成セマンティック セグメンテーションの新しいパラダイムである GMMSeg は、閉集合と開集合の両方の認識を処理できます。

生成セマンティック セグメンテーションの新しいパラダイムである GMMSeg は、閉集合と開集合の両方の認識を処理できます。

また、異常セグメンテーションタスクでは、閉集合タスクを実行する必要はありません。つまり、セマンティック セグメンテーション タスクでトレーニングされたモデルに何らかの変更が加えられた場合、GMMSeg は、すべての一般的な評価指標において特別な後処理を必要とする他のメソッドを上回ることができます。

生成セマンティック セグメンテーションの新しいパラダイムである GMMSeg は、閉集合と開集合の両方の認識を処理できます。

生成セマンティック セグメンテーションの新しいパラダイムである GMMSeg は、閉集合と開集合の両方の認識を処理できます。


生成セマンティック セグメンテーションの新しいパラダイムである GMMSeg は、閉集合と開集合の両方の認識を処理できます。#

以上が生成セマンティック セグメンテーションの新しいパラダイムである GMMSeg は、閉集合と開集合の両方の認識を処理できます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです 世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです May 07, 2024 pm 04:13 PM

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました Jun 01, 2024 pm 10:03 PM

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました Apr 09, 2024 am 11:52 AM

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

Google は大喜び: JAX のパフォーマンスが Pytorch や TensorFlow を上回りました! GPU 推論トレーニングの最速の選択肢となる可能性があります Google は大喜び: JAX のパフォーマンスが Pytorch や TensorFlow を上回りました! GPU 推論トレーニングの最速の選択肢となる可能性があります Apr 01, 2024 pm 07:46 PM

Google が推進する JAX のパフォーマンスは、最近のベンチマーク テストで Pytorch や TensorFlow のパフォーマンスを上回り、7 つの指標で 1 位にランクされました。また、テストは最高の JAX パフォーマンスを備えた TPU では行われませんでした。ただし、開発者の間では、依然として Tensorflow よりも Pytorch の方が人気があります。しかし、将来的には、おそらくより大規模なモデルが JAX プラットフォームに基づいてトレーニングされ、実行されるようになるでしょう。モデル 最近、Keras チームは、ネイティブ PyTorch 実装を使用して 3 つのバックエンド (TensorFlow、JAX、PyTorch) をベンチマークし、TensorFlow を使用して Keras2 をベンチマークしました。まず、主流のセットを選択します

時系列予測 NLP 大規模モデルの新機能: 時系列予測の暗黙的なプロンプトを自動的に生成 時系列予測 NLP 大規模モデルの新機能: 時系列予測の暗黙的なプロンプトを自動的に生成 Mar 18, 2024 am 09:20 AM

今日は、時系列予測のパフォーマンスを向上させるために、時系列データを潜在空間上の大規模な自然言語処理 (NLP) モデルと整合させる方法を提案するコネチカット大学の最近の研究成果を紹介したいと思います。この方法の鍵は、潜在的な空間ヒント (プロンプト) を使用して時系列予測の精度を高めることです。論文タイトル: S2IP-LLM: SemanticSpaceInformedPromptLearningwithLLMforTimeSeriesForecasting ダウンロードアドレス: https://arxiv.org/pdf/2403.05798v1.pdf 1. 大きな問題の背景モデル

テスラのロボットは工場で働く、マスク氏:手の自由度は今年22に達する! テスラのロボットは工場で働く、マスク氏:手の自由度は今年22に達する! May 06, 2024 pm 04:13 PM

テスラのロボット「オプティマス」の最新映像が公開され、すでに工場内で稼働可能となっている。通常の速度では、バッテリー(テスラの4680バッテリー)を次のように分類します:公式は、20倍の速度でどのように見えるかも公開しました - 小さな「ワークステーション」上で、ピッキング、ピッキング、ピッキング:今回は、それがリリースされたハイライトの1つビデオの内容は、オプティマスが工場内でこの作業を完全に自律的に行​​い、プロセス全体を通じて人間の介入なしに完了するというものです。そして、オプティマスの観点から見ると、自動エラー修正に重点を置いて、曲がったバッテリーを拾い上げたり配置したりすることもできます。オプティマスのハンドについては、NVIDIA の科学者ジム ファン氏が高く評価しました。オプティマスのハンドは、世界の 5 本指ロボットの 1 つです。最も器用。その手は触覚だけではありません

DualBEV: BEVFormer および BEVDet4D を大幅に上回る、本を開いてください! DualBEV: BEVFormer および BEVDet4D を大幅に上回る、本を開いてください! Mar 21, 2024 pm 05:21 PM

この論文では、自動運転においてさまざまな視野角 (遠近法や鳥瞰図など) から物体を正確に検出するという問題、特に、特徴を遠近法 (PV) 空間から鳥瞰図 (BEV) 空間に効果的に変換する方法について検討します。 Visual Transformation (VT) モジュールを介して実装されます。既存の手法は、2D から 3D への変換と 3D から 2D への変換という 2 つの戦略に大別されます。 2D から 3D への手法は、深さの確率を予測することで高密度の 2D フィーチャを改善しますが、特に遠方の領域では、深さ予測に固有の不確実性により不正確さが生じる可能性があります。 3D から 2D への方法では通常、3D クエリを使用して 2D フィーチャをサンプリングし、Transformer を通じて 3D と 2D フィーチャ間の対応のアテンション ウェイトを学習します。これにより、計算時間と展開時間が増加します。

See all articles