Exécutez Flux.n Mac avec des diffuseurs

Qu'est-ce que les diffuseurs ?

visage étreignant / diffuseurs

? Diffuseurs : modèles de diffusion de pointe pour la génération d'images et d'audio dans PyTorch et FLAX.

? Diffusers est la bibliothèque incontournable pour les modèles de diffusion pré-entraînés de pointe pour générer des images, de l'audio et même des structures 3D de molécules. Que vous recherchiez une solution d'inférence simple ou que vous formiez vos propres modèles de diffusion, ? Diffusers est une boîte à outils modulaire qui prend en charge les deux. Notre bibliothèque est conçue en mettant l'accent sur la convivialité plutôt que sur les performances, la simplicité plutôt que la facilité et la personnalisation plutôt que les abstractions.

? Les diffuseurs proposent trois composants principaux :

• Pipelines de diffusion de pointe pouvant être exécutés en inférence avec seulement quelques lignes de code.
• Planificateurs de bruit interchangeables pour différentes vitesses de diffusion et qualité de sortie.
• Modèles pré-entraînés qui peuvent être utilisés comme éléments de base et combinés avec des planificateurs pour créer vos propres systèmes de diffusion de bout en bout.

Installation

Nous vous recommandons d'installer ? Diffuseurs dans un environnement virtuel de PyPI ou Conda. Pour plus de détails sur l'installation de PyTorch et Flax, veuillez vous référer à leur documentation officielle.

PyTorch

Avec pip (officiel…

Voir sur GitHub

Qu'est-ce que Flux

https://blackforestlabs.ai/announcing-black-forest-labs/

1. Créez un environnement virtuel

python3 -m venv fluxtest
source fluxtest/bin/activate

2. Connectez-vous à Hugging Face via CLI

https://huggingface.co/docs/huggingface_hub/main/en/guides/cli

pip install -U "huggingface_hub[cli]"
huggingface-cli login

3. Installer les packages

pip install torch==2.3.1
pip install git+https://github.com/huggingface/diffusers.git
pip install transformers==4.43.3 sentencepiece==0.2.0 accelerate==0.33.0 protobuf==5

4. Exécutez un script Python

image.py

import torch
from diffusers import  FluxPipeline
import diffusers

_flux_rope = diffusers.models.transformers.transformer_flux.rope
def new_flux_rope(pos: torch.Tensor, dim: int, theta: int) -> torch.Tensor:
    assert dim % 2 == 0, "The dimension must be even."
    if pos.device.type == "mps":
        return _flux_rope(pos.to("cpu"), dim, theta).to(device=pos.device)
    else:
        return _flux_rope(pos, dim, theta)

diffusers.models.transformers.transformer_flux.rope = new_flux_rope

pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell", revision='refs/pr/1',  torch_dtype=torch.bfloat16).to("mps")

prompt = "japanese girl, photo-realistic"
out = pipe(
     prompt=prompt,
     guidance_scale=0.,
     height=1024,
     width=1024,
     num_inference_steps=4,
     max_sequence_length=256,
).images[0]
out.save("image.png")

Enfin, exécutez un script Python pour générer une image.

python image.py

sortie

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!