ホームページ テクノロジー周辺機器 AI CMU Zhu Junyan のチームは、さまざまな AI 生成モデルの長所と短所を評価するための自動マッチング ランキング システムを開発しました。

CMU Zhu Junyan のチームは、さまざまな AI 生成モデルの長所と短所を評価するための自動マッチング ランキング システムを開発しました。

May 09, 2023 pm 09:09 PM
ai モデル

この記事は Lei Feng.com から転載されたものです。転載する必要がある場合は、Lei Feng.com の公式 Web サイトにアクセスして許可を申請してください。

生成 AI は最近非常に人気があり、目もくらむほど新しい事前トレーニング済み画像生成モデルがたくさんあります。ポートレート、風景、漫画、特定のアーティストのスタイルの要素など、各モデルは生成に適したものを持っています。

非常に多くのモデルがある中で、創造的な欲求を満たすことができる最適なモデルを素早く見つけるにはどうすればよいでしょうか?

最近、カーネギー メロン大学助教授の Zhu Junyan らが初めて コンテンツ ベースのモデル検索アルゴリズム を提案しました。ワンクリックで最適な深度画像生成モデルを生成します。

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

論文アドレス: https://arxiv.org/pdf/2210.03116.pdf ##この一連のモデル検索アルゴリズムに基づいてチームが開発したオンライン モデル共有および検索プラットフォームである Modelverse では、

テキスト、画像、スケッチ、特定のモデルを入力して、

最も多くのモデルを検索できます。一致するモデルまたは類似の関連モデル。

Modelverse プラットフォームのアドレス: https://modelverse.cs.cmu.edu/

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统## 凡例: テキスト (「アフリカの動物」など)、画像 (風景など)、スケッチ (立っている猫のスケッチなど)、または指定されたモデルを入力し、上位ランキングを出力します。モデル (2 行目と 3 行目)

たとえば、「顔」というテキストを入力すると、次の結果が得られます:

猫の画像を入力してください: AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

##馬のスケッチを入力してください:

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

1

コンテンツベースのモデル検索AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

従来のマルチメディア検索と同様、モデル検索はユーザーが最適なモデルを見つけるのに役立ちます。特定のニーズモデルに適合します。ただし、コンテンツベースのモデル検索タスクには、特有の困難があります。

モデルが特定の画像を生成できるかどうかを判断することは、計算的に困難な問題であり、多くの深い生成モデルでは、密度を推定する効果的な方法ですが、それ自体はクロスモーダル類似性の評価をサポートしません。サンプリングベースのモンテカルロ法では、モデル検索プロセスが非常に遅くなります。

この目的を達成するために、Zhu Junyan のチームは新しいモデル検索システムを提案しました。

各生成モデルは画像分布を生成するため、著者らは、モデルが与えられたクエリに対する一致を生成する確率を最大化する最適化として検索問題にアプローチします。以下の図に示すように、システムは事前キャッシュ ステージ (a、b) と推論ステージ (c) で構成されます。

#キャプション: モデル検索方法の概要

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

与えられた一連のモデル検索方法モデルでは、(a) まず各モデルに対して 50K サンプルを生成し、(b) 次に画像を画像特徴にエンコードし、各モデルの 1 次および 2 次特徴統計量を計算します。統計はシステム内にキャッシュされ、効率が向上します。(c) 推論段階では、画像、スケッチ、テキストによる説明、別の生成モデル、またはこれらのクエリ タイプの組み合わせなど、さまざまなモダリティのクエリがサポートされます。著者らはここで、クエリが特徴ベクトルとしてエンコードされ、クエリの特徴と各モデル統計間の類似性を評価することによって最良の類似性尺度を持つモデルが取得される近似を導入しています。

2 モデル検索効果

著者はアルゴリズムを評価し、133 の深層世代モデル (GAN、拡散モデル、自己回帰モデルを含む) に対してアブレーション実験解析を実施します。モンテカルロ ベースラインと比較して、この方法は 高精度 を維持しながら、 0.08 ミリ秒以内で 5 倍の速度向上を実現し、より効率的な検索を実現できます。

モデルの検索結果を比較することで、どのモデルがさまざまなクエリ入力に対してより高品質の画像を生成できるかについての大まかなアイデアを得ることができます。例えば、モデルの検索結果の比較を次の図に示します。

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

# 凡例: モデル検索結果の例

先頭行は画像クエリ、静物画の入力、関連する芸術スタイルのモデルの取得、および第 1 位の StyleGAN2 モデルと第 2 位の Vision-aided GAN モデルの取得。中段はスケッチクエリで、馬や教会のスケッチを入力し、ADMやProGANなどのモデルを取得します。一番下の行はテキストクエリで、「眼鏡をかけている人」と「話す鳥」を入力すると、それぞれ最上位の GANSketch モデルと自己蒸留 GAN モデルが取得されます。

著者は、

異なるネットワーク特徴空間ではモデルのパフォーマンスに違いがあることも発見しました。 下の図に示すように、画像クエリを入力する場合、結果は、CLIP、DINO、および Inception の 3 つのネットワークがすべて同様のパフォーマンスを示すことを示していますが、スケッチ クエリを入力する場合、CLIP のパフォーマンスが大幅に優れている一方で、DINO と Inception はそうではありません。特定のクエリでは、芸術的なスタイルのモデルでパフォーマンスが向上します。

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

注: さまざまなネットワーク フィーチャ空間での画像ベースとスケッチベースのモデル取得の比較

さらに、この研究で提案されたモデル検索アルゴリズムは、マルチモーダル ユーザー クエリ、類似モデル クエリ、実画像の再構成と編集などを含むさまざまなアプリケーションもサポートできます。

たとえば、マルチモーダル クエリはモデル検索を絞り込むのに役立ちます。「ニコラス ケイジ」の画像しかない場合は顔モデルのみを取得できますが、「ニコラス ケイジ」の場合は顔モデルのみを取得できます。 」も使用し、「犬」を入力として使用すると、「ニコラス・ケイジの犬」画像を生成できる StyleGAN-NADA モデルを取得できます。 (以下に示すように)

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

#注: マルチモーダル ユーザー クエリ

入力が顔モデルの場合、より多くの顔生成モデルを取得でき、カテゴリは類似したままになります。 (以下に示すように)

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统#注: 同様のモデル クエリ

指定本物の顔のクエリ画像を決定するには、よりランクの高いモデルを使用すると、より正確な画像再構成が得られます。以下の図は、異なるランキング モデルを使用した、CelebA-HQ と LSUN Church の画像の画像逆マッピングの例です。

# キャプション: 取得した StyleGAN2 モデルに実際の画像を投影します。 AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

#実際の画像を編集するタスクでは、モデルによってパフォーマンスも異なります。以下の図では、最上位の画像ベースのモデル検索アルゴリズムを使用して実際の画像を逆マッピングし、その後 GANspace を使用して編集して、浮世絵画像のしかめ面を笑顔に変換しています。

注: 実際の画像の編集

この研究では、モデル検索の実現可能性が証明されました。テキスト、オーディオ、その他のコンテンツ生成のためのモデル検索のための多くの研究スペース。

しかし、現時点では、この研究で提案されている方法にはまだ一定の制限があります。たとえば、特定のスケッチをクエリすると、抽象的な形状のモデルが一致する場合がありますが、マルチモーダル クエリを実行すると単一のモデルしか取得されない場合があり、システムは犬「象」のような画像の処理が困難になる可能性があります」マルチモーダルクエリ。 (下図の通り)

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

注: 失敗例

さらに, 同社のモデル検索プラットフォームでは、取得したモデルリストがその効果に応じて自動的に並べ替えられるわけではなく、たとえば、さまざまなモデルが解像度、忠実度、生成された画像の一致度などの観点から評価され、ランク付けされます。これにより、ユーザーの検索が容易になり、現在生成されているモデルの長所と短所をユーザーがよりよく理解できるようになります。

以上がCMU Zhu Junyan のチームは、さまざまな AI 生成モデルの長所と短所を評価するための自動マッチング ランキング システムを開発しました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

uvicornは、serving_forever()なしでhttpリクエストをどのように継続的に聞いていますか? uvicornは、serving_forever()なしでhttpリクエストをどのように継続的に聞いていますか? Apr 01, 2025 pm 10:51 PM

UvicornはどのようにしてHTTPリクエストを継続的に聞きますか? Uvicornは、ASGIに基づく軽量のWebサーバーです。そのコア機能の1つは、HTTPリクエストを聞いて続行することです...

FlaskとYolov5によって開発されたHTMLページにカメラが検出ボックスを表示できないという問題を解決する方法は? FlaskとYolov5によって開発されたHTMLページにカメラが検出ボックスを表示できないという問題を解決する方法は? Apr 01, 2025 pm 06:33 PM

カメラを正常に開き、FlaskとYolov5が開発したHTML Webページに検出ボックスを表示するにはどうすればよいですか? Flask FrameworkとYolov5を使用してHTML Webページを開発するときは、写真を開きます...

セレンでログインした後、404エラーをリダイレクトする理由は何ですか?それを解決する方法は? セレンでログインした後、404エラーをリダイレクトする理由は何ですか?それを解決する方法は? Apr 01, 2025 pm 10:54 PM

シミュレーションログインの場合にシミュレーションログイン後に404エラーをリダイレクトするための解決策は、シミュレーションログインにSeleniumを使用すると、いくつかの困難な問題に遭遇することがよくあります。 �...

文字列を介してオブジェクトを動的に作成し、Pythonでメソッドを呼び出す方法は? 文字列を介してオブジェクトを動的に作成し、Pythonでメソッドを呼び出す方法は? Apr 01, 2025 pm 11:18 PM

Pythonでは、文字列を介してオブジェクトを動的に作成し、そのメソッドを呼び出す方法は?これは一般的なプログラミング要件です。特に構成または実行する必要がある場合は...

Webページデータを取得するときに動的読み込みコンテンツが欠落の問題を解決する方法は? Webページデータを取得するときに動的読み込みコンテンツが欠落の問題を解決する方法は? Apr 01, 2025 pm 11:24 PM

リクエストライブラリを使用してWebページのデータをクロールするときに遭遇する問題とソリューション。リクエストライブラリを使用してWebページデータを取得すると、時々遭遇します...

GoまたはRustを使用してPythonスクリプトを呼び出して、真の並列実行を実現する方法は? GoまたはRustを使用してPythonスクリプトを呼び出して、真の並列実行を実現する方法は? Apr 01, 2025 pm 11:39 PM

GoまたはRustを使用してPythonスクリプトを呼び出して、真の並列実行を実現する方法は?最近、私はPythonを使用しています...

ChatGpt時代には、技術的なQ&Aコミュニティは課題にどのように対応できますか? ChatGpt時代には、技術的なQ&Aコミュニティは課題にどのように対応できますか? Apr 01, 2025 pm 11:51 PM

ChatGpt時代のテクニカルQ&Aコミュニティ:SegmentFaultの対応戦略StackOverFlow ...

See all articles