Maison Périphériques technologiques IA InstantID, autrefois populaire, a une nouvelle façon de jouer : la génération d'images stylisées, qui est open source.

InstantID, autrefois populaire, a une nouvelle façon de jouer : la génération d'images stylisées, qui est open source.

Apr 15, 2024 pm 03:58 PM
git 工程

L'équipe d'origine d'InstantID a lancé une nouvelle méthode de migration de style appelée InstantStyle.

La génération d'images stylisées est souvent appelée transfert de style, et son objectif est de générer des images dont le style est cohérent avec l'image de référence et cohérent avec le contenu de l'image d'origine. Cette technologie est basée sur des méthodes de diffusion (telles que LoRA) pour la formation par lots des mêmes données de style et ne peut pas être migrée vers de nouveaux styles. Ou bien à partir d'opérations d'inversion (telles que StyleAlign), en restituant l'image de style au bruit latent, les K et V obtenus par propagation directe sont utilisés pour remplacer l'image de style en génération. Cette méthode dégrade souvent le style de génération en raison de l'opération d'inversion.

Récemment, l'équipe d'origine d'InstantID a lancé une nouvelle méthode de migration de style appelée InstantStyle. Contrairement à Face ID, il s'agit d'un cadre général d'injection de style d'image qui utilise deux techniques simples mais très efficaces pour obtenir une séparation efficace du style et du contenu des images de référence. Cette méthode fournit une technique simple mais très efficace pour obtenir une séparation efficace du style et du contenu de l'image de référence, réalisant ainsi une fusion efficace du style et du contenu.

曾爆火的 InstantID又有了新玩法:风格化图像生成,已开源

  • Paper : InstantStyle : Déjeuner gratuit vers la préservation du style dans la génération de texte en image

  • Adresse du papier : https://huggingface.co/papers/2404.02733

  • Page d'accueil du projet : https ://instantstyle.github.io/

  • Lien du code : https://github.com/InstantStyle/InstantStyle

  • Adresse de démonstration : https://huggingface.co/spaces/InstantX/InstantStyle

曾爆火的 InstantID又有了新玩法:风格化图像生成,已开源

Pour motiver une introduction automatisée, (1) Tout d'abord, le style n'est pas défini et il n'existe pas de norme claire pour le définir. Il comprend même de nombreux éléments, tels que la couleur, l'atmosphère, le matériau, la mise en page, etc. s'il est évalué manuellement, il est également difficile de parvenir à une conclusion unifiée ; (2) La méthode précédente basée sur l'inversion produira une dégradation évidente du style, ce qui est inacceptable pour certains styles, tels que les textures ; , le problème le plus critique est de savoir comment l'équilibrer entre l'intensité de l'injection de style et la fuite de contenu de l'image de référence.

曾爆火的 InstantID又有了新玩法:风格化图像生成,已开源

À cet égard, l'équipe de l'auteur a mené une série d'analyses expérimentales. Ils ont constaté que les problèmes de l'IP-Adapter étaient manifestement exagérés par de nombreuses autres méthodes. L'auteur a résolu la plupart d'entre eux en ajustant uniquement manuellement le poids de l'image. injection de fonctionnalités. Le problème de fuite de contenu revendiqué dans le document. Néanmoins, dans certains cas, il est encore difficile pour l'adaptateur IP de trouver un seuil approprié à équilibrer. Étant donné que les méthodes actuelles basées sur l'adaptateur utilisent généralement CLIP pour extraire les caractéristiques des images, l'auteur a confirmé à travers l'exemple de récupération d'images que dans l'espace des fonctionnalités CLIP, les caractéristiques des images et du texte peuvent être ajoutées et soustraites. La réponse est évidente, pourquoi pas. afficher les fonctionnalités avant de les injecter dans le réseau ? Comment découpler le contenu et le style des fonctionnalités de l'image en soustrayant les informations de contenu susceptibles d'être divulguées ?

Enfin, inspiré par la méthode B-LoRA, l'auteur a soigneusement analysé l'effet de l'injection d'IP-Adapter à chaque couche et a été surpris de constater qu'il existe deux couches indépendantes qui répondent respectivement aux informations de style et de disposition spatiale. Pour cela, les auteurs présentent la méthode proposée.

Introduction à la méthode

Sur la base des observations et des expériences ci-dessus, l'auteur a proposé la méthode InstantStyle, comme le montre la figure. Le cœur de cette méthode contient deux modules :

曾爆火的 InstantID又有了新玩法:风格化图像生成,已开源

(1) Soustraction de caractéristiques : utilisation. Fonctionnalités CLIP inactives, effectuez explicitement une soustraction de fonctionnalités, supprimez les informations de contenu dans les fonctionnalités d'image et réduisez l'impact du contenu de l'image de référence sur les images générées. Par rapport à la sous-détermination du style, les informations de contenu sont souvent faciles à décrire simplement à l'aide de texte. L'encodeur de texte de CLIP peut donc être utilisé pour extraire les caractéristiques du contenu à des fins de découplage.

(2) Injection de couche de style uniquement : l'injection de fonctionnalités n'est effectuée que dans une couche de style spécifique, réalisant implicitement un découplage du style et du contenu. Vers le milieu du bloc UNet, l'auteur a découvert deux couches spécifiques qui contrôlent respectivement le style et la disposition spatiale, et a constaté que dans certains styles, la disposition spatiale peut également être un type de style.

Dans l'ensemble, l'idée d'InstantStyle est assez simple et facile à comprendre avec seulement quelques lignes de code, elle atténue le problème de fuite de contenu le plus gênant lors de la migration de style.

Résultats expérimentaux

L'auteur montre les résultats de génération de deux stratégies dans l'article. Ces deux stratégies ne se limitent pas à des modèles spécifiques et peuvent être utilisées séparément et indépendamment, obtenant toutes deux d'excellents résultats.

Le résultat de la soustraction de caractéristiques :

曾爆火的 InstantID又有了新玩法:风格化图像生成,已开源

Injection de couche de style uniquement :

曾爆火的 InstantID又有了新玩法:风格化图像生成,已开源

曾爆火的 InstantID又有了新玩法:风格化图像生成,已开源

Comparaison avec les principales méthodes actuelles :

曾爆火的 InstantID又有了新玩法:风格化图像生成,已开源

Stylisation basée sur l'image originale :

曾爆火的 InstantID又有了新玩法:风格化图像生成,已开源

Gameplay communautaire

InstantStyle déjà fourni Les développeurs peuvent trouvez des implémentations de code riches directement via GitHub, notamment Wenshengtu, Tushengtu et Inpainting. Récemment, il a également été utilisé comme outil de stylisation recommandé par le projet de génération vidéo AnyV2V. Pour les utilisateurs de la communauté, InstantStyle prend également en charge nativement ComfyUI (l'auteur de ce nœud est également co-auteur d'InstantStyle), et les utilisateurs peuvent l'essayer rapidement en mettant à jour le nœud IP-Adapter.

曾爆火的 InstantID又有了新玩法:风格化图像生成,已开源

En tant qu'auteur d'InstantID, comment se fait-il que nous ne soyons pas co-marqués avec InstantID ? Par rapport à InstantID qui contrôle uniquement le style généré par le texte, InstantStyle peut sans aucun doute rendre le style plus diversifié. L'équipe d'auteurs prendra officiellement en charge la fonction de stylisation du visage une fois que l'étoile GitHub aura atteint 1 000.

曾爆火的 InstantID又有了新玩法:风格化图像生成,已开源

L'auteur soutient également officiellement Huggingface Demo et peut être essayé en ligne.

曾爆火的 InstantID又有了新玩法:风格化图像生成,已开源

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Quelles bibliothèques sont utilisées pour les opérations du numéro de point flottantes en Go? Quelles bibliothèques sont utilisées pour les opérations du numéro de point flottantes en Go? Apr 02, 2025 pm 02:06 PM

La bibliothèque utilisée pour le fonctionnement du numéro de point flottante dans le langage go présente comment s'assurer que la précision est ...

Quelles bibliothèques de GO sont développées par de grandes entreprises ou fournies par des projets open source bien connus? Quelles bibliothèques de GO sont développées par de grandes entreprises ou fournies par des projets open source bien connus? Apr 02, 2025 pm 04:12 PM

Quelles bibliothèques de GO sont développées par de grandes entreprises ou des projets open source bien connus? Lors de la programmation en Go, les développeurs rencontrent souvent des besoins communs, ...

Gitee Pages STATIQUE Le déploiement du site Web a échoué: comment dépanner et résoudre les erreurs de fichier unique 404? Gitee Pages STATIQUE Le déploiement du site Web a échoué: comment dépanner et résoudre les erreurs de fichier unique 404? Apr 04, 2025 pm 11:54 PM

GiteEpages STATIQUE Le déploiement du site Web a échoué: 404 Dépannage des erreurs et résolution lors de l'utilisation de Gitee ...

Comment exécuter le projet H5 Comment exécuter le projet H5 Apr 06, 2025 pm 12:21 PM

L'exécution du projet H5 nécessite les étapes suivantes: Installation des outils nécessaires tels que le serveur Web, Node.js, les outils de développement, etc. Créez un environnement de développement, créez des dossiers de projet, initialisez les projets et écrivez du code. Démarrez le serveur de développement et exécutez la commande à l'aide de la ligne de commande. Aperçu du projet dans votre navigateur et entrez l'URL du serveur de développement. Publier des projets, optimiser le code, déployer des projets et configurer la configuration du serveur Web.

Comment spécifier la base de données associée au modèle de Beego ORM? Comment spécifier la base de données associée au modèle de Beego ORM? Apr 02, 2025 pm 03:54 PM

Dans le cadre du cadre de beegoorm, comment spécifier la base de données associée au modèle? De nombreux projets Beego nécessitent que plusieurs bases de données soient opérées simultanément. Lorsque vous utilisez Beego ...

Comment résoudre le problème de conversion de type user_id lors de l'utilisation du flux redis pour implémenter les files d'attente de messages dans le langage Go? Comment résoudre le problème de conversion de type user_id lors de l'utilisation du flux redis pour implémenter les files d'attente de messages dans le langage Go? Apr 02, 2025 pm 04:54 PM

Le problème de l'utilisation de Redessstream pour implémenter les files d'attente de messages dans le langage GO consiste à utiliser le langage GO et redis ...

La production de pages H5 nécessite-t-elle une maintenance continue? La production de pages H5 nécessite-t-elle une maintenance continue? Apr 05, 2025 pm 11:27 PM

La page H5 doit être maintenue en continu, en raison de facteurs tels que les vulnérabilités du code, la compatibilité des navigateurs, l'optimisation des performances, les mises à jour de sécurité et les améliorations de l'expérience utilisateur. Des méthodes de maintenance efficaces comprennent l'établissement d'un système de test complet, à l'aide d'outils de contrôle de version, de surveiller régulièrement les performances de la page, de collecter les commentaires des utilisateurs et de formuler des plans de maintenance.

Comment obtenir les données de la région d'expédition de la version à l'étranger? Quelles sont les ressources prêtes à l'emploi disponibles? Comment obtenir les données de la région d'expédition de la version à l'étranger? Quelles sont les ressources prêtes à l'emploi disponibles? Apr 01, 2025 am 08:15 AM

Description de la question: Comment obtenir les données de la région d'expédition de la version à l'étranger? Y a-t-il des ressources prêtes à l'emploi disponibles? Soyez précis dans le commerce électronique transfrontalier ou les entreprises mondialisées ...

See all articles