Diffusion stable à réglage fin XL avec Dreambooth et Lora

Ce tutoriel explore la diffusion stable XL (SDXL) et Dreambooth, démontrant comment tirer parti de la bibliothèque diffusers pour la génération d'images et le réglage du modèle. Nous allons affiner SDXL en utilisant des photos personnelles et évaluerons les résultats. Les nouveaux arrivants de l'IA sont encouragés à commencer par un cours fondamental de l'IA.

Comprendre la diffusion stable xl

Stabilité SDXL 1.0 d'Ai représente un SEMP significatif dans la génération de texte à l'image AI. S'appuyant sur le SDXL 0.9 de la recherche sur la recherche, c'est maintenant le modèle de création d'image le plus puissant accessible au public. Des tests approfondis confirment sa qualité d'image supérieure par rapport aux autres alternatives open source.

Image de arXiv.org

Cette qualité améliorée découle d'un ensemble de deux modèles: un générateur de base de paramètres de 3,5 milliards et un raffineur de paramètres de 6,6 milliards. Cette double approche optimise la qualité de l'image tout en maintenant l'efficacité des GPU grand public. SDXL 1.0 simplifie la génération d'images, produisant des résultats complexes à partir d'invites concises. Le réglage fin de données personnalisé est également rationalisé, offrant un contrôle granulaire sur la structure, le style et la composition de l'image.

Dreambooth: génération d'images personnalisée

Dreambooth de Google (2022) est une percée dans l'IA générative, en particulier pour les modèles de texte à l'image comme la diffusion stable. Comme les chercheurs de Google le décrivent: "C'est comme un photomaton mais capture le sujet d'une manière qui lui permet d'être synthétisée partout où vos rêves vous prennent."

Image de Dreambooth

Dreambooth injecte des sujets personnalisés dans le modèle, créant un générateur spécialisé pour des personnes, des objets ou des scènes spécifiques. La formation ne nécessite que quelques (3-5) images. Le modèle formé place ensuite le sujet dans divers contextes et poses, limité uniquement par l'imagination.

Applications Dreambooth

La génération d'images personnalisables de Dreambooth profite à divers domaines:

1. Industries créatives: La conception graphique, la publicité et le divertissement bénéficient de ses capacités de création de contenu visuel unique.
2. Personnalisation: crée des scénarios difficiles ou impossibles à reproduire dans les paramètres de réalité ou purement fictifs.
3. Éducation et recherche: génère des recherches personnalisées sur le contenu éducatif et le sida nécessitant une représentation visuelle.

Accès à une diffusion stable xl

sdxl est accessible via la démo des espaces de visage étreint (générant quatre images à partir d'une invite) ou la bibliothèque Python diffusers pour la génération d'images d'invite personnalisée.

Configuration et génération d'images avec diffusers

Assurez-vous qu'un GPU compatible Cuda est disponible:

!nvidia-smi

installer diffusers:

%pip install --upgrade diffusers[torch] -q

Chargez le modèle (en utilisant FP16 pour l'efficacité de la mémoire GPU):

from diffusers import DiffusionPipeline, AutoencoderKL
import torch

vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", vae=vae, torch_dtype=torch.float16, variant="fp16", use_safetensors=True)
pipe.to("cuda");

Générer des images:

prompt = "A man in a spacesuit is running a marathon in the jungle."
image = pipe(prompt=prompt, num_inference_steps=25, num_images_per_prompt=4)

Afficher les images à l'aide d'une fonction d'assistance (fournie dans l'original):

# ... (image_grid function from original code) ...
image_grid(image.images, 2, 2)

Amélioration des résultats avec le raffineur

Pour une qualité améliorée, utilisez le raffineur SDXL:

# ... (refiner loading and processing code from original) ...

SDXL à réglage fin avec AutoTrain Advanced

AutoTrain Advanced simplifie le réglage fin SDXL. L'installez en utilisant:

%pip install -U autotrain-advanced

(Remarque: Le tutoriel d'origine utilise un cahier Colab désormais obsolète pour une méthode alternative; ceci est omis pour la concision.)

Dreambooth Fine-tuning (abrégé)

Le tutoriel continue ensuite avec un exemple détaillé de SDXL à réglage fin à l'aide du script Dreambooth d'AutoTrain Advanced sur un ensemble de données personnel d'images. Cette section consiste à configurer des variables, à créer un ensemble de données Kaggle et à exécuter le script AutoTrain. La sortie montre le processus de formation et les poids LORA résultants téléchargés sur le visage étreint. L'inférence avec le modèle affinée est ensuite démontrée, présentant des images générées du sujet spécifié dans divers scénarios. Enfin, l'utilisation du raffineur avec le modèle affinée est explorée. En raison des contraintes de longueur, cette section détaillée est considérablement condensée ici. Reportez-vous à l'original pour le code complet et l'explication.

Conclusion

Ce tutoriel fournit un aperçu complet de SDXL et Dreambooth, présentant leurs capacités et leur facilité d'utilisation avec la bibliothèque diffusers et AutoTrain Advanced. Le processus de réglage fin démontre la puissance de la génération d'images personnalisée, mettant en évidence les succès et les zones pour une exploration plus approfondie (comme l'interaction du raffineur avec les modèles affinés). Le tutoriel se termine par des recommandations d'apprentissage ultérieur dans le domaine de l'IA.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!