La bande-annonce de GTA6 a été jouée plus d'un milliard de fois et le géant de l'IA peut rapidement jouer le rôle de gangster de GTA

Avez-vous vu la nouvelle bande-annonce du jeu GTA ? On dit que cette bande-annonce a battu trois records du monde Guinness et a été visionnée plus de 100 millions de fois.

Si je vous disais que les trois géants de l'IA peuvent aussi jouer un rôle dans le jeu "Grand Theft Auto", saurez-vous quand même les distinguer ?

Les Trois Grands de l'IA : Yann LeCun, Geoffrey Hinton et Yoshua Bengio.

Cette photo a été synthétisée à l'aide du modèle FaceStudio AI de Tencent, montrant un effet de style GTA. Le caractère unique de ce modèle d'IA réside dans son excellente reconnaissance des caractères, qui pousse la technologie "AI photo" largement utilisée à un niveau supérieur

Dans le développement rapide actuel de la technologie de l'intelligence artificielle, les séances photo IA sont devenues l'IA Une direction populaire pour la technologie candidatures. Dans le domaine des applications IA + image, les produits photo IA tels que Miaoya Camera ont démontré un grand potentiel et une grande popularité. La caméra Miaoya a suscité beaucoup d'attention sur les réseaux sociaux quelques semaines seulement après son lancement, et sa croissance rapide met en évidence l'énorme potentiel de ce marché. Malgré cela, de nombreux produits de prise de photos IA présentent encore certaines limitations techniques. Par exemple, les utilisateurs doivent télécharger plusieurs photos avec de grandes différences et attendre longtemps pour obtenir l'effet composite, ce qui affecte sans aucun doute l'expérience utilisateur.

Dans cette vague d'innovation en matière d'image menée par l'intelligence artificielle, le dernier résultat de la recherche de Tencent, FaceStudio, montre une nouvelle avancée technologique. Cette recherche se concentre non seulement sur la synthèse rapide de portraits, mais se concentre également davantage sur la conservation des informations identitaires du portrait pour répondre aux besoins esthétiques tout en conservant l'unicité et la reconnaissance du personnage. Il hérite non seulement des principaux avantages de l'algorithme open source StableDiffusion, mais apporte également des améliorations innovantes dans plusieurs fonctions clés. Le plus frappant est sa capacité à utiliser un guidage hybride pour la génération d'images, notamment dans le traitement de photos multi-personnes et d'images stylisées. La technologie de base de FaceStudio réside dans sa capacité à créer des images sans sacrifier l'identité personnelle. la synthèse d'images de personnages est obtenue. La technologie traditionnelle de synthèse d’images par IA sacrifie souvent le caractère unique et la reconnaissance des personnages tout en recherchant la beauté visuelle. Cependant, grâce à un mécanisme de guidage hybride avancé, FaceStudio est capable de prendre simultanément en compte les éléments de texte, les images de style et les images d'identité lors de la génération d'images, réalisant ainsi un transfert de styles diversifié tout en conservant les caractéristiques individuelles. Il s’agit non seulement d’une avancée technologique majeure, mais elle offre également aux utilisateurs des options de synthèse d’images plus riches et plus personnalisées.

De plus, le mécanisme unique d’attention croisée multi-identités de FaceStudio le rend particulièrement efficace pour traiter des images contenant plusieurs personnes. Les méthodes traditionnelles rencontrent souvent des problèmes pour distinguer et conserver avec précision les caractéristiques de chaque personne lors du traitement de telles images. Mais ce mécanisme de FaceStudio peut mapper avec précision les informations caractéristiques des différentes identités aux parties correspondantes de l'image, ce qui est excellent pour maintenir le caractère unique de chaque personnage et la coordination du style global.

FaceStudio prend en charge une variété d'applications intéressantes liées au visage

Adresse papier : https://arxiv.org/abs/2312.02663

• Adresse de la page d'accueil : https ://icoz69.github.io/facestudio/
• Présentation de la méthode

Conception de bootstrap hybride

L'une des principales fonctionnalités de FaceStudio est sa conception de bootstrap hybride. L’équipe a utilisé une approche unique qui permet au modèle de recevoir simultanément des signaux d’image et de texte, générant ainsi des images présentant des caractéristiques d’identité spécifiques. Le module de guidage basé sur des invites d'images contient deux sous-modules :

• Module guidé par image : dans cette partie, FaceStudio utilise l'encodeur visuel CLIP pour traiter les images humaines. Ces images sont souvent stylisées et contiennent de riches informations visuelles telles que la couleur, la texture et la composition. L'encodeur CLIP est capable d'extraire des caractéristiques de style complexes de ces images.
• Module de reconnaissance d'identité : Parallèlement au module de guidage d'image, l'équipe Tencent a également conçu un module de reconnaissance d'identité, qui utilise le modèle Arcface pour traiter les images faciales individuelles. Son objectif principal est d'extraire des caractéristiques d'identité clés telles que la structure du visage, l'expression et d'autres informations biométriques uniques à partir d'images faciales.

Après avoir extrait les caractéristiques visuelles de l'image stylisée et les caractéristiques identitaires de l'image faciale, ces deux ensembles de caractéristiques sont fusionnés. Cette étape est réalisée via une couche linéaire qui combine les deux fonctionnalités pour créer une fonctionnalité de guidage complète. L'avantage de cette méthode est qu'elle conserve non seulement l'identité du personnage, mais intègre également un style et un contenu spécifiques dans le processus de génération d'images

FaceStudio dispose non seulement d'une fonction de guidage d'image, mais intègre également une fonction de guidage de texte. Cette fonctionnalité est obtenue en utilisant un modèle PriorTransformer pré-entraîné. Le modèle est capable de mapper les fonctionnalités textuelles CLIP aux fonctionnalités visuelles CLIP correspondantes. Ensuite, à l'instar du module de guidage par invite d'image, ces fonctionnalités visuelles sont combinées avec les fonctionnalités du module de reconnaissance d'identité pour former une fonctionnalité de guidage complète qui peut répondre à des invites textuelles. Enfin, les deux fonctionnalités d'invite sont pondérées et fusionnées pour obtenir un guidage hybride

Le contenu qui doit être réécrit est : le diagramme d'architecture de Facebook Studio

Synthèse d'images multi-personnes

Dans le framework FaceStudio développé par l'équipe Tencent, on retrouve une innovation clé, à savoir la partie « traitement des images multi-personnes ». Cette section se concentre sur la composition de portraits de plusieurs personnes dans une seule image afin de garantir que chaque personne conserve son identité unique dans l'image finale. Face à une image contenant plusieurs personnes, FaceStudio utilise un mécanisme d'attention particulier. Ce mécanisme garantit que lors du processus de synthèse d'image, les caractéristiques de chaque zone de personnage accèdent uniquement aux informations d'identité correspondantes. Cela signifie que le modèle peut contrôler avec précision l’identité de chaque personnage, garantissant qu’il apparaît correctement dans l’image finale. Afin d'obtenir ce contrôle précis, l'équipe Tencent a utilisé un modèle de segmentation des instances de caractères. Le modèle est capable d'identifier différentes personnes dans l'image et d'associer la région de chaque personne aux caractéristiques identitaires correspondantes. De cette façon, le modèle peut garantir que les informations d'identité de chaque personnage sont correctement guidées lors de la synthèse des images

Comparaison des effets de FaceStudio et des algorithmes de base sur la génération d'images multi-personnes

Stratégie de formation

L'équipe Tencent a conçu une stratégie de formation pour FaceStudio ciblant la reconstruction d'images humaines. Avec cette approche, ils utilisent l’image originale avec des zones faciales masquées comme entrée dans une image humaine stylisée, et utilisent simultanément le visage recadré de la même image comme entrée dans l’identité. De cette manière, le modèle peut préserver plus précisément l'identité de la personne lors de la génération de l'image de guidage. Différente des méthodes de formation de modèles génératifs existantes, cette méthode s'appuie uniquement sur des portraits comme données de formation et ne nécessite pas d'annotations de texte, ce qui réduit considérablement la dépendance à l'égard des données annotées. Il peut mieux s'adapter à différents styles de portraits

Affichage des résultats

FaceStudio montre ses avantages uniques en évaluant la similarité des visages et le temps de génération du portrait. Les résultats expérimentaux montrent que FaceStudio prend moins de 4 secondes pour générer un seul portrait, tandis que DreamBooth, un algorithme populaire basé sur l'optimisation, prend jusqu'à 6 minutes. Dans le même temps, FaceStudio conserve mieux les caractéristiques du portrait et présente une meilleure similitude faciale. Les résultats expérimentaux sont comparés comme suit :

Les chercheurs ont comparé FaceStudio avec le meilleur algorithme actuel de modèle de génération de portraits, en utilisant les mêmes images comme échantillons. Les résultats de la comparaison montrent que FaceStudio obtient des résultats meilleurs ou identiques sur presque tous les échantillons. Cela prouve en outre que FaceStudio possède une forte robustesse et de fortes performances de généralisation. Les résultats de comparaison spécifiques sont les suivants :

De plus, une variété d'applications uniques de génération d'images de visage ont été démontrées dans les expériences de FaceStudo, y compris la génération guidée de fusion d'identité et de fusion d'images de texte

Expérience de génération d'images de fusion d'identité

Expérience de génération d'images guidées mixtes de texte et d'images

Les échantillons de portraits générés par FaceStudio ont une variété de styles

Résumé

En résumé, l'émergence du logo FaceStudio représente un progrès significatif dans le domaine de la génération d'images personnalisées. Il offre de riches options de stylisation et de génération d’images basées sur le texte tout en conservant l’identité du personnage. Cette capacité est non seulement d'une grande valeur pour les industries de la création artistique et du divertissement, mais peut également jouer un rôle important dans des domaines tels que la publicité, la production de médias numériques et la création de contenu personnalisé. En contrôlant précisément l'identité et le style des images, FaceStudio ouvre une nouvelle voie pour le développement futur de la technologie de génération d'images, annonçant l'innovation et le changement dans ce domaine

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!