Maison Périphériques technologiques IA L'équipe de CMU Zhu Junyan a développé un système de classement automatique pour évaluer les avantages et les inconvénients des différents modèles de génération d'IA.

L'équipe de CMU Zhu Junyan a développé un système de classement automatique pour évaluer les avantages et les inconvénients des différents modèles de génération d'IA.

May 09, 2023 pm 09:09 PM
ai 模型

Cet article est reproduit à partir de Lei Feng.com Si vous devez le réimprimer, veuillez vous rendre sur le site officiel de Lei Feng.com pour demander une autorisation.

L'IA générative est très populaire ces derniers temps, et il existe tellement de nouveaux modèles de génération d'images pré-entraînés que c'est vertigineux à voir. Qu'il s'agisse de portraits, de paysages, de dessins animés, d'éléments du style d'un artiste spécifique, etc., chaque modèle a quelque chose qu'il sait générer.

Avec autant de modèles, comment trouver rapidement le meilleur modèle qui puisse satisfaire vos envies créatives ?

Récemment, Zhu Junyan, professeur adjoint à l'Université Carnegie Mellon, et d'autres ont proposé pour la première fois l'algorithme de recherche de modèles basé sur le contenu 🎜🎜 #, permettant Vous pouvez rechercher le modèle de génération d'image de profondeur le plus correspondant en un seul clic.

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

Adresse papier : https://arxiv.org/pdf/2210.03116.pdf#🎜 🎜#

Sur Modelverse, une plateforme de partage et de recherche de modèles en ligne développée par l'équipe sur la base de cet ensemble d'algorithmes de recherche de modèles, vous pouvez

saisir du texte, images, croquis et étant donné un modèle, recherche le modèle associé le plus correspondant ou similaire.

Adresse de la plateforme Modelverse : https://modelverse.cs.cmu.edu/#🎜 🎜#

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

Légende : saisissez du texte (comme "Animaux d'Afrique"), une image (comme un paysage), un croquis (comme un chat debout) croquis) ou un modèle donné, affichez les modèles associés les mieux classés (deuxième et troisième lignes)

Par exemple, saisissez le texte "visage", le résultat est le suivant :

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统Entrez une image de chat :

# 🎜🎜 #

Saisissez un croquis d'un cheval : AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

#🎜 🎜#1

Recherche de modèles basée sur le contenu AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

Comme la recherche multimédia traditionnelle, la recherche de modèles peut aider les utilisateurs à trouver le modèle qui correspond le mieux à leurs besoins spécifiques. Cependant, la tâche de recherche de modèle basée sur le contenu présente ses propres difficultés particulières :

Déterminer si un modèle peut générer une image spécifique est un problème informatiquement difficile, et de nombreux problèmes génératifs profonds modèles Il ne fournit pas une méthode efficace pour estimer la densité et ne prend pas non plus en charge l’évaluation de la similarité intermodale. La méthode de Monte Carlo basée sur l'échantillonnage rendra le processus de recherche de modèle très lent.

À cette fin, l'équipe de Zhu Junyan a proposé un nouveau système de recherche de modèles.

Chaque modèle génératif produit une distribution d'images, les auteurs abordent donc le problème de recherche comme une optimisation pour maximiser le nombre d'images générées qui correspondent à la requête étant donné la probabilité du modèle. Comme le montre la figure ci-dessous, le système se compose d'une étape de pré-mise en cache (a, b) et d'une étape d'inférence (c).

Légende : Aperçu des méthodes de recherche de modèles AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

#🎜🎜 #

Étant donné un ensemble de modèles, (a) générez d'abord 50 000 échantillons pour chaque modèle ; (b) codez ensuite les images en caractéristiques d'image et calculez les statistiques de caractéristiques de premier et de deuxième ordre pour chacun ; modèle . Les statistiques sont mises en cache dans le système pour améliorer l'efficacité ; (c) pendant la phase d'inférence, des requêtes de différentes modalités sont prises en charge, notamment des images, des croquis, des descriptions textuelles, un autre modèle génératif ou une combinaison de ces types de requêtes. Les auteurs introduisent ici une approximation dans laquelle la requête est codée sous forme de vecteur de caractéristiques et le modèle avec la meilleure mesure de similarité est récupéré en évaluant la similarité entre les caractéristiques de la requête et les statistiques de chaque modèle.

2 Effet de recherche de modèle

L'auteur évalue l'algorithme sur 133 modèles génératifs profonds (dont GAN, modèle de diffusion et modèle autorégressif) réalisés en ablation analyse expérimentale. Par rapport à la ligne de base de Monte Carlo, cette méthode permet d'obtenir une recherche plus efficace, avec une vitesse améliorée de 5 fois en 0,08 milliseconde, tout en maintenant haute précision .

En comparant les résultats de récupération des modèles, nous pouvons également avoir une idée approximative des modèles qui peuvent générer des images de meilleure qualité pour différentes entrées de requête. Par exemple, la figure ci-dessous montre la comparaison des résultats de récupération du modèle.

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

Illustration : Exemple de résultats de récupération de modèle#🎜🎜 #

La ligne supérieure est une requête d'image, la saisie de natures mortes, la récupération de modèles de styles artistiques associés et l'obtention du modèle StyleGAN2 classé en premier et du modèle GAN assisté par vision classé en dernier. La rangée du milieu est une requête d'esquisse, saisissez des croquis de chevaux et d'églises et obtenez des modèles tels que ADM et ProGAN. La ligne du bas est une requête textuelle. Saisissez « personne portant des lunettes » et « oiseau qui parle » pour récupérer respectivement le modèle GANSketch et le modèle GAN auto-distillé les mieux classés.

L'auteur a également constaté que Il existe des différences dans les performances des modèles dans différents espaces de fonctionnalités réseau. Comme le montre la figure ci-dessous, lors de la saisie de requêtes d'images, les résultats montrent que les trois réseaux CLIP, DINO et Inception ont tous des performances similaires ; lors de la saisie de requêtes d'esquisse, CLIP fonctionne nettement mieux, contrairement à DINO et Inception. Trop adaptés à une requête donnée, ils fonctionnent mieux sur les modèles de style artistique.

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

Remarque : Comparaison de la récupération de modèles basée sur des images et des croquis dans différents espaces de fonctionnalités du réseau# 🎜 🎜#

De plus, l'algorithme de recherche de modèle proposé dans ce travail peut également prendre en charge une variété d'applications, notamment une requête utilisateur multimodale, une requête de modèle similaire et reconstruction d'images réelles. Structure et édition, etc.

Par exemple, une requête multimodale peut aider à affiner la recherche de modèle Lorsqu'il n'y a que des images de "Nicolas Cage", seul le modèle du visage peut être récupéré mais ; lors de l'utilisation des deux Lorsque « Nicolas Cage » et « chien » sont utilisés comme entrée, le modèle StyleGAN-NADA qui peut générer l'image « Nicolas Cage chien » peut être récupéré. (Comme indiqué ci-dessous)

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

Remarque : Requête utilisateur multimodale #🎜 🎜#Lorsque l'entrée est un modèle de visage, davantage de modèles de génération de visage peuvent être récupérés et les catégories restent similaires. (Comme indiqué ci-dessous)

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

Remarque : requête de modèle similaire

À partir d'une image de requête d'un visage réel, l'utilisation d'un modèle de rang supérieur entraîne une reconstruction d'image plus précise. La figure ci-dessous est un exemple de mappage inverse d'images d'images CelebA-HQ et LSUN Church à l'aide de différents modèles de classement.

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

Légende : Projetez l'image réelle sur le modèle StyleGAN2 récupéré.

Dans la tâche d'édition d'images réelles, les performances des différents modèles varient également. Dans la figure ci-dessous, le modèle le mieux classé dans l'algorithme de récupération de modèle basé sur l'image est utilisé pour cartographier inversement l'image réelle, puis modifié à l'aide de GANspace pour transformer le visage renfrogné de l'image Ukiyoe en un visage souriant.

Légende : Image réelle éditée

Cette étude La faisabilité La recherche de modèles a fait ses preuves, mais il reste encore beaucoup d'espace de recherche pour la recherche de modèles générés à partir de texte, d'audio ou d'autres contenus.

Mais à l'heure actuelle, la méthode proposée dans ce travail présente encore certaines limites. Par exemple, lors de l'interrogation d'un croquis spécifique, parfois un modèle d'une forme abstraite sera mis en correspondance ; et parfois lors de l'exécution d'une requête multimodale, un seul modèle peut être récupéré, et le système peut avoir des difficultés à traiter des images comme un chien + "les grandes requêtes multimodales comme". (Comme indiqué ci-dessous)

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

Remarque : Cas d'échec # 🎜🎜#

De plus, sur sa plateforme de recherche de modèles, la liste de modèles récupérée n'est pas automatiquement triée en fonction de son effet, comme la résolution, la fidélité, le degré de correspondance de l'image générée, etc. et le classement des différents modèles facilitera la recherche des utilisateurs et les aidera à mieux comprendre les avantages et les inconvénients des modèles actuellement générés. Nous attendons avec impatience les travaux de suivi dans ce domaine.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Quelle méthode est utilisée pour convertir les chaînes en objets dans vue.js? Quelle méthode est utilisée pour convertir les chaînes en objets dans vue.js? Apr 07, 2025 pm 09:39 PM

Lors de la conversion des chaînes en objets dans vue.js, JSON.Parse () est préféré pour les chaînes JSON standard. Pour les chaînes JSON non standard, la chaîne peut être traitée en utilisant des expressions régulières et réduisez les méthodes en fonction du format ou du codé décodé par URL. Sélectionnez la méthode appropriée en fonction du format de chaîne et faites attention aux problèmes de sécurité et d'encodage pour éviter les bogues.

Comment utiliser MySQL après l'installation Comment utiliser MySQL après l'installation Apr 08, 2025 am 11:48 AM

L'article présente le fonctionnement de la base de données MySQL. Tout d'abord, vous devez installer un client MySQL, tel que MySQLWorkBench ou le client de ligne de commande. 1. Utilisez la commande MySQL-UROot-P pour vous connecter au serveur et connecter avec le mot de passe du compte racine; 2. Utilisez Createdatabase pour créer une base de données et utilisez Sélectionner une base de données; 3. Utilisez CreateTable pour créer une table, définissez des champs et des types de données; 4. Utilisez InsertInto pour insérer des données, remettre en question les données, mettre à jour les données par mise à jour et supprimer les données par Supprimer. Ce n'est qu'en maîtrisant ces étapes, en apprenant à faire face à des problèmes courants et à l'optimisation des performances de la base de données que vous pouvez utiliser efficacement MySQL.

Comment résoudre MySQL ne peut pas être démarré Comment résoudre MySQL ne peut pas être démarré Apr 08, 2025 pm 02:21 PM

Il existe de nombreuses raisons pour lesquelles la startup MySQL échoue, et elle peut être diagnostiquée en vérifiant le journal des erreurs. Les causes courantes incluent les conflits de port (vérifier l'occupation du port et la configuration de modification), les problèmes d'autorisation (vérifier le service exécutant les autorisations des utilisateurs), les erreurs de fichier de configuration (vérifier les paramètres des paramètres), la corruption du répertoire de données (restaurer les données ou reconstruire l'espace de la table), les problèmes d'espace de la table InNODB (vérifier les fichiers IBDATA1), la défaillance du chargement du plug-in (vérification du journal des erreurs). Lors de la résolution de problèmes, vous devez les analyser en fonction du journal d'erreur, trouver la cause profonde du problème et développer l'habitude de sauvegarder régulièrement les données pour prévenir et résoudre des problèmes.

Géospatial de Laravel: optimisation des cartes interactives et de grandes quantités de données Géospatial de Laravel: optimisation des cartes interactives et de grandes quantités de données Apr 08, 2025 pm 12:24 PM

Traiter efficacement 7 millions d'enregistrements et créer des cartes interactives avec la technologie géospatiale. Cet article explore comment traiter efficacement plus de 7 millions d'enregistrements en utilisant Laravel et MySQL et les convertir en visualisations de cartes interactives. Exigences initiales du projet de défi: extraire des informations précieuses en utilisant 7 millions d'enregistrements dans la base de données MySQL. Beaucoup de gens considèrent d'abord les langages de programmation, mais ignorent la base de données elle-même: peut-il répondre aux besoins? La migration des données ou l'ajustement structurel est-il requis? MySQL peut-il résister à une charge de données aussi importante? Analyse préliminaire: les filtres et les propriétés clés doivent être identifiés. Après analyse, il a été constaté que seuls quelques attributs étaient liés à la solution. Nous avons vérifié la faisabilité du filtre et établi certaines restrictions pour optimiser la recherche. Recherche de cartes basée sur la ville

Vue.js Comment convertir un tableau de type de chaîne en un tableau d'objets? Vue.js Comment convertir un tableau de type de chaîne en un tableau d'objets? Apr 07, 2025 pm 09:36 PM

Résumé: Il existe les méthodes suivantes pour convertir les tableaux de chaîne Vue.js en tableaux d'objets: Méthode de base: utilisez la fonction de carte pour convenir à des données formatées régulières. Gameplay avancé: l'utilisation d'expressions régulières peut gérer des formats complexes, mais ils doivent être soigneusement écrits et considérés. Optimisation des performances: Considérant la grande quantité de données, des opérations asynchrones ou des bibliothèques efficaces de traitement des données peuvent être utilisées. MEILLEUR PRATIQUE: Effacer le style de code, utilisez des noms de variables significatifs et des commentaires pour garder le code concis.

Comment définir le délai de Vue Axios Comment définir le délai de Vue Axios Apr 07, 2025 pm 10:03 PM

Afin de définir le délai d'expiration de Vue Axios, nous pouvons créer une instance AxiOS et spécifier l'option Timeout: dans les paramètres globaux: vue.prototype. $ Axios = axios.create ({timeout: 5000}); Dans une seule demande: ce. $ axios.get ('/ api / utilisateurs', {timeout: 10000}).

Comment optimiser les performances de la base de données après l'installation de MySQL Comment optimiser les performances de la base de données après l'installation de MySQL Apr 08, 2025 am 11:36 AM

L'optimisation des performances MySQL doit commencer à partir de trois aspects: configuration d'installation, indexation et optimisation des requêtes, surveillance et réglage. 1. Après l'installation, vous devez ajuster le fichier my.cnf en fonction de la configuration du serveur, tel que le paramètre innodb_buffer_pool_size, et fermer query_cache_size; 2. Créez un index approprié pour éviter les index excessifs et optimiser les instructions de requête, telles que l'utilisation de la commande Explication pour analyser le plan d'exécution; 3. Utilisez le propre outil de surveillance de MySQL (ShowProcessList, Showstatus) pour surveiller la santé de la base de données, et sauvegarde régulièrement et organisez la base de données. Ce n'est qu'en optimisant en continu ces étapes que les performances de la base de données MySQL peuvent être améliorées.

Les ingénieurs de backend senior à distance (plates-formes) ont besoin de cercles Les ingénieurs de backend senior à distance (plates-formes) ont besoin de cercles Apr 08, 2025 pm 12:27 PM

Ingénieur backend à distance Emploi Vacant Société: Emplacement du cercle: Bureau à distance Type d'emploi: Salaire à temps plein: 130 000 $ - 140 000 $ Description du poste Participez à la recherche et au développement des applications mobiles Circle et des fonctionnalités publiques liées à l'API couvrant l'intégralité du cycle de vie de développement logiciel. Les principales responsabilités complètent indépendamment les travaux de développement basés sur RubyOnRails et collaborent avec l'équipe frontale React / Redux / Relay. Créez les fonctionnalités de base et les améliorations des applications Web et travaillez en étroite collaboration avec les concepteurs et le leadership tout au long du processus de conception fonctionnelle. Promouvoir les processus de développement positifs et hiérarchiser la vitesse d'itération. Nécessite plus de 6 ans de backend d'applications Web complexe

See all articles