ホームページ テクノロジー周辺機器 AI CMU Zhu Junyan のチームは、さまざまな AI 生成モデルの長所と短所を評価するための自動マッチング ランキング システムを開発しました。

CMU Zhu Junyan のチームは、さまざまな AI 生成モデルの長所と短所を評価するための自動マッチング ランキング システムを開発しました。

May 09, 2023 pm 09:09 PM
ai モデル

この記事は Lei Feng.com から転載されたものです。転載する必要がある場合は、Lei Feng.com の公式 Web サイトにアクセスして許可を申請してください。

生成 AI は最近非常に人気があり、目もくらむほど新しい事前トレーニング済み画像生成モデルがたくさんあります。ポートレート、風景、漫画、特定のアーティストのスタイルの要素など、各モデルは生成に適したものを持っています。

非常に多くのモデルがある中で、創造的な欲求を満たすことができる最適なモデルを素早く見つけるにはどうすればよいでしょうか?

最近、カーネギー メロン大学助教授の Zhu Junyan らが初めて コンテンツ ベースのモデル検索アルゴリズム を提案しました。ワンクリックで最適な深度画像生成モデルを生成します。

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

論文アドレス: https://arxiv.org/pdf/2210.03116.pdf ##この一連のモデル検索アルゴリズムに基づいてチームが開発したオンライン モデル共有および検索プラットフォームである Modelverse では、

テキスト、画像、スケッチ、特定のモデルを入力して、

最も多くのモデルを検索できます。一致するモデルまたは類似の関連モデル。

Modelverse プラットフォームのアドレス: https://modelverse.cs.cmu.edu/

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统## 凡例: テキスト (「アフリカの動物」など)、画像 (風景など)、スケッチ (立っている猫のスケッチなど)、または指定されたモデルを入力し、上位ランキングを出力します。モデル (2 行目と 3 行目)

たとえば、「顔」というテキストを入力すると、次の結果が得られます:

猫の画像を入力してください: AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

##馬のスケッチを入力してください:

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

1

コンテンツベースのモデル検索AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

従来のマルチメディア検索と同様、モデル検索はユーザーが最適なモデルを見つけるのに役立ちます。特定のニーズモデルに適合します。ただし、コンテンツベースのモデル検索タスクには、特有の困難があります。

モデルが特定の画像を生成できるかどうかを判断することは、計算的に困難な問題であり、多くの深い生成モデルでは、密度を推定する効果的な方法ですが、それ自体はクロスモーダル類似性の評価をサポートしません。サンプリングベースのモンテカルロ法では、モデル検索プロセスが非常に遅くなります。

この目的を達成するために、Zhu Junyan のチームは新しいモデル検索システムを提案しました。

各生成モデルは画像分布を生成するため、著者らは、モデルが与えられたクエリに対する一致を生成する確率を最大化する最適化として検索問題にアプローチします。以下の図に示すように、システムは事前キャッシュ ステージ (a、b) と推論ステージ (c) で構成されます。

#キャプション: モデル検索方法の概要

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

与えられた一連のモデル検索方法モデルでは、(a) まず各モデルに対して 50K サンプルを生成し、(b) 次に画像を画像特徴にエンコードし、各モデルの 1 次および 2 次特徴統計量を計算します。統計はシステム内にキャッシュされ、効率が向上します。(c) 推論段階では、画像、スケッチ、テキストによる説明、別の生成モデル、またはこれらのクエリ タイプの組み合わせなど、さまざまなモダリティのクエリがサポートされます。著者らはここで、クエリが特徴ベクトルとしてエンコードされ、クエリの特徴と各モデル統計間の類似性を評価することによって最良の類似性尺度を持つモデルが取得される近似を導入しています。

2 モデル検索効果

著者はアルゴリズムを評価し、133 の深層世代モデル (GAN、拡散モデル、自己回帰モデルを含む) に対してアブレーション実験解析を実施します。モンテカルロ ベースラインと比較して、この方法は 高精度 を維持しながら、 0.08 ミリ秒以内で 5 倍の速度向上を実現し、より効率的な検索を実現できます。

モデルの検索結果を比較することで、どのモデルがさまざまなクエリ入力に対してより高品質の画像を生成できるかについての大まかなアイデアを得ることができます。例えば、モデルの検索結果の比較を次の図に示します。

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

# 凡例: モデル検索結果の例

先頭行は画像クエリ、静物画の入力、関連する芸術スタイルのモデルの取得、および第 1 位の StyleGAN2 モデルと第 2 位の Vision-aided GAN モデルの取得。中段はスケッチクエリで、馬や教会のスケッチを入力し、ADMやProGANなどのモデルを取得します。一番下の行はテキストクエリで、「眼鏡をかけている人」と「話す鳥」を入力すると、それぞれ最上位の GANSketch モデルと自己蒸留 GAN モデルが取得されます。

著者は、

異なるネットワーク特徴空間ではモデルのパフォーマンスに違いがあることも発見しました。 下の図に示すように、画像クエリを入力する場合、結果は、CLIP、DINO、および Inception の 3 つのネットワークがすべて同様のパフォーマンスを示すことを示していますが、スケッチ クエリを入力する場合、CLIP のパフォーマンスが大幅に優れている一方で、DINO と Inception はそうではありません。特定のクエリでは、芸術的なスタイルのモデルでパフォーマンスが向上します。

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

注: さまざまなネットワーク フィーチャ空間での画像ベースとスケッチベースのモデル取得の比較

さらに、この研究で提案されたモデル検索アルゴリズムは、マルチモーダル ユーザー クエリ、類似モデル クエリ、実画像の再構成と編集などを含むさまざまなアプリケーションもサポートできます。

たとえば、マルチモーダル クエリはモデル検索を絞り込むのに役立ちます。「ニコラス ケイジ」の画像しかない場合は顔モデルのみを取得できますが、「ニコラス ケイジ」の場合は顔モデルのみを取得できます。 」も使用し、「犬」を入力として使用すると、「ニコラス・ケイジの犬」画像を生成できる StyleGAN-NADA モデルを取得できます。 (以下に示すように)

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

#注: マルチモーダル ユーザー クエリ

入力が顔モデルの場合、より多くの顔生成モデルを取得でき、カテゴリは類似したままになります。 (以下に示すように)

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统#注: 同様のモデル クエリ

指定本物の顔のクエリ画像を決定するには、よりランクの高いモデルを使用すると、より正確な画像再構成が得られます。以下の図は、異なるランキング モデルを使用した、CelebA-HQ と LSUN Church の画像の画像逆マッピングの例です。

# キャプション: 取得した StyleGAN2 モデルに実際の画像を投影します。 AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

#実際の画像を編集するタスクでは、モデルによってパフォーマンスも異なります。以下の図では、最上位の画像ベースのモデル検索アルゴリズムを使用して実際の画像を逆マッピングし、その後 GANspace を使用して編集して、浮世絵画像のしかめ面を笑顔に変換しています。

注: 実際の画像の編集

この研究では、モデル検索の実現可能性が証明されました。テキスト、オーディオ、その他のコンテンツ生成のためのモデル検索のための多くの研究スペース。

しかし、現時点では、この研究で提案されている方法にはまだ一定の制限があります。たとえば、特定のスケッチをクエリすると、抽象的な形状のモデルが一致する場合がありますが、マルチモーダル クエリを実行すると単一のモデルしか取得されない場合があり、システムは犬「象」のような画像の処理が困難になる可能性があります」マルチモーダルクエリ。 (下図の通り)

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

注: 失敗例

さらに, 同社のモデル検索プラットフォームでは、取得したモデルリストがその効果に応じて自動的に並べ替えられるわけではなく、たとえば、さまざまなモデルが解像度、忠実度、生成された画像の一致度などの観点から評価され、ランク付けされます。これにより、ユーザーの検索が容易になり、現在生成されているモデルの長所と短所をユーザーがよりよく理解できるようになります。

以上がCMU Zhu Junyan のチームは、さまざまな AI 生成モデルの長所と短所を評価するための自動マッチング ランキング システムを開発しました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

Video Face Swap

Video Face Swap

完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

WorldCoin(WLD)価格予測2025-2031:WLDは2031年までに4ドルに達しますか? WorldCoin(WLD)価格予測2025-2031:WLDは2031年までに4ドルに達しますか? Apr 21, 2025 pm 02:42 PM

WorldCoin(WLD)は、独自の生体認証とプライバシー保護メカニズムを備えた暗号通貨市場で際立っており、多くの投資家の注目を集めています。 WLDは、特にOpenai人工知能技術と組み合わせて、革新的なテクノロジーを備えたAltcoinsの間で驚くほど演奏​​しています。しかし、デジタル資産は今後数年間でどのように振る舞いますか? WLDの将来の価格を一緒に予測しましょう。 2025年のWLD価格予測は、2025年にWLDで大幅に増加すると予想されています。市場分析は、平均WLD価格が1.31ドルに達する可能性があり、最大1.36ドルであることを示しています。ただし、クマ市場では、価格は約0.55ドルに低下する可能性があります。この成長の期待は、主にWorldCoin2によるものです。

なぜ仮想通貨価格の上昇または下落があるのですか?なぜ仮想通貨価格の上昇または下落があるのですか? なぜ仮想通貨価格の上昇または下落があるのですか?なぜ仮想通貨価格の上昇または下落があるのですか? Apr 21, 2025 am 08:57 AM

仮想通貨価格の上昇の要因には、次のものが含まれます。1。市場需要の増加、2。供給の減少、3。刺激された肯定的なニュース、4。楽観的な市場感情、5。マクロ経済環境。衰退要因は次のとおりです。1。市場需要の減少、2。供給の増加、3。ネガティブニュースのストライキ、4。悲観的市場感情、5。マクロ経済環境。

クロスチェーントランザクションとはどういう意味ですか?クロスチェーントランザクションとは何ですか? クロスチェーントランザクションとはどういう意味ですか?クロスチェーントランザクションとは何ですか? Apr 21, 2025 pm 11:39 PM

クロスチェーントランザクションをサポートする交換:1。Binance、2。Uniswap、3。Sushiswap、4。CurveFinance、5。Thorchain、6。1inchExchange、7。DLNTrade、これらのプラットフォームはさまざまな技術を通じてマルチチェーン資産トランザクションをサポートします。

Aavenomicsは、Aaveプロトコルトークンを変更し、Tokenの買戻しを導入するための推奨事項です。 Aavenomicsは、Aaveプロトコルトークンを変更し、Tokenの買戻しを導入するための推奨事項です。 Apr 21, 2025 pm 06:24 PM

Aavenomicsは、Aaveプロトコルトークンを変更し、Aavedaoの定足数を実装したToken Reposを導入する提案です。 Aave Project Chain(ACI)の創設者であるMarc Zellerは、これをXで発表し、契約の新しい時代をマークしていることに注目しました。 Aave Chain Initiative(ACI)の創設者であるMarc Zellerは、Aavenomicsの提案にAave Protocolトークンの変更とトークンリポジトリの導入が含まれていると発表しました。 Zellerによると、これは契約の新しい時代を告げています。 Aavedaoのメンバーは、水曜日の週に100でした。

カーネルエアドロップ報酬を獲得する方法バイナンスフルプロセス戦略 カーネルエアドロップ報酬を獲得する方法バイナンスフルプロセス戦略 Apr 21, 2025 pm 01:03 PM

暗号通貨の賑やかな世界では、新しい機会が常に現れます。現在、Kerneldao(Kernel)Airdropアクティビティは多くの注目を集め、多くの投資家の注目を集めています。それで、このプロジェクトの起源は何ですか? BNBホルダーはそれからどのような利点を得ることができますか?心配しないでください、以下はあなたのためにそれを一つ一つ明らかにします。

ビットコイン完成品構造の分析チャートは何ですか?描く方法は? ビットコイン完成品構造の分析チャートは何ですか?描く方法は? Apr 21, 2025 pm 07:42 PM

ビットコイン構造分析チャートを描画する手順には、次のものが含まれます。1。図面の目的と視聴者を決定します。2。適切なツールを選択します。3。フレームワークを設計し、コアコンポーネントを入力します。4。既存のテンプレートを参照してください。完全な手順チャートが正確で理解しやすいことを確認してください。

ハイブリッドブロックチェーン取引プラットフォームとは何ですか? ハイブリッドブロックチェーン取引プラットフォームとは何ですか? Apr 21, 2025 pm 11:36 PM

暗号通貨交換を選択するための提案:1。流動性の要件については、優先度は、その順序の深さと強力なボラティリティ抵抗のため、Binance、gate.ioまたはokxです。 2。コンプライアンスとセキュリティ、Coinbase、Kraken、Geminiには厳格な規制の承認があります。 3.革新的な機能、Kucoinのソフトステーキング、Bybitのデリバティブデザインは、上級ユーザーに適しています。

Rexas Finance(RXS)は、2025年にSolana(Sol)、Cardano(ADA)、XRP、Dogecoin(Doge)を上回ることができます Rexas Finance(RXS)は、2025年にSolana(Sol)、Cardano(ADA)、XRP、Dogecoin(Doge)を上回ることができます Apr 21, 2025 pm 02:30 PM

不安定な暗号通貨市場では、投資家は人気のある通貨を超えた代替品を探しています。 Solana(Sol)、Cardano(ADA)、XRP、Dogecoin(DOGE)などのよく知られた暗号通貨も、市場の感情、規制の不確実性、スケーラビリティなどの課題に直面しています。ただし、新しい新興プロジェクトであるRexasFinance(RXS)が出現しています。それは有名人の効果や誇大広告に依存するのではなく、現実世界の資産(RWA)とブロックチェーン技術を組み合わせて投資家に革新的な投資方法を提供することに焦点を当てています。この戦略により、2025年の最も成功したプロジェクトの1つになることを望んでいます。Rexasfi

See all articles