Dreambooth 및 Lora와 함께 미세 조정 안정 확산 XL

이 튜토리얼은 안정적인 확산 XL (SDXL)과 DreamBooth를 탐색하여 이미지 생성 및 모델 미세 조정을 위해

라이브러리를 활용하는 방법을 보여줍니다. 개인 사진을 사용하여 SDXL을 미세 조정하고 결과를 평가할 것입니다. AI 신규 이민자들은 AI 기초 과정으로 시작하도록 권장됩니다. diffusers

안정적인 확산 이해 xl

안정성 AI의 SDXL 1.0은 AI 텍스트-이미지 생성에서 중요한 도약을 나타냅니다. 연구 전용 SDXL 0.9를 바탕으로 이제 가장 강력한 공개 이미지 생성 모델입니다. 광범위한 테스트는 다른 오픈 소스 대안에 비해 우수한 이미지 품질을 확인합니다.

arxiv.org의 이미지

이 개선 된 품질은 두 가지 모델의 앙상블에서 비롯됩니다 : 3.5 억 매개 변수 기본 생성기와 60 억 개의 매개 변수 정제소. 이 이중 접근 방식은 소비자 GPU의 효율성을 유지하면서 이미지 품질을 최적화합니다. SDXL 1.0은 이미지 생성을 단순화하여 간결한 프롬프트의 복잡한 결과를 생성합니다. 사용자 정의 데이터 세트 미세 조정도 간소화되어 이미지 구조, 스타일 및 구성을 세분화하는 제어를 제공합니다. Dreambooth : 개인화 된 이미지 생성

Google의 Dreambooth (2022)는 생성 AI, 특히 안정적인 확산과 같은 텍스트-이미지 모델의 획기적인 것입니다. Google 연구원들이 설명하는 것처럼 : "사진 부스와 같지만 꿈을 취할 때마다 합성 할 수있는 방식으로 주제를 포착합니다."

. Dreambooth의 이미지

Dreambooth는 사용자 정의 피사체를 모델에 주입하여 특정 사람, 대상 또는 장면을위한 특수 발전기를 만듭니다. 훈련에는 몇 개의 (3-5) 이미지 만 필요합니다. 그런 다음 훈련 된 모델은 상상력에 의해서만 제한되는 다양한 설정과 포즈로 피사체를 배치합니다.

Dreambooth 응용 프로그램 Dreambooth의 사용자 정의 가능한 이미지 생성은 다양한 필드에 도움이됩니다 :

창의적 산업 : 그래픽 디자인, 광고 및 엔터테인먼트는 고유 한 시각적 컨텐츠 제작 능력의 혜택입니다. 개인화 :

는 현실 또는 순전히 가상의 설정에서 복제하기 어려운 시나리오를 만듭니다. 교육 및 연구 :

시각적 표현이 필요한 개인화 된 교육 내용 및 AIDS 연구를 생성합니다. 안정적인 확산 xl

에 액세스합니다 SDXL은 Hugging Face Space Demo (프롬프트에서 4 개의 이미지 생성) 또는 사용자 지정 프롬프트 이미지 생성을위한

Python 라이브러리를 통해 액세스 할 수 있습니다.

diffusers 가있는 설정 및 이미지 생성 CUDA 지원 GPU를 사용할 수 있는지 확인하십시오

install

!nvidia-smi

:

모델을로드하십시오 (GPU 메모리 효율을 위해 FP16 사용) : <:> 이미지 생성 :

헬퍼 기능을 사용하여 이미지 표시 (원본에서 제공) :

diffusers

%pip install --upgrade diffusers[torch] -q

정유 업체로 결과 개선 품질 향상을 위해 SDXL 리파이너를 활용하십시오 :

from diffusers import DiffusionPipeline, AutoencoderKL
import torch

vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", vae=vae, torch_dtype=torch.float16, variant="fp16", use_safetensors=True)
pipe.to("cuda");

prompt = "A man in a spacesuit is running a marathon in the jungle."
image = pipe(prompt=prompt, num_inference_steps=25, num_images_per_prompt=4)

autotrain advanced 를 사용한 미세 조정 sdxl autotrain advanced는 sdxl 미세 조정을 단순화합니다. 다음을 사용하여 설치하십시오

(참고 : 원본 자습서는 대체 방법으로 현재 구식 Colab 노트북을 사용합니다. 이것은 간결하게 생략됩니다.)

Dreambooth 미세 조정 (요약)

# ... (image_grid function from original code) ...
image_grid(image.images, 2, 2)

그런 다음 튜토리얼에는 개인 데이터 세트의 AutotRain Advanced의 DreamBooth 스크립트를 사용하여 SDXL을 미세 조정하는 자세한 예제가 진행됩니다. 이 섹션에는 변수 설정, Kaggle 데이터 세트 생성 및 Autotrain 스크립트를 실행하는 것이 포함됩니다. 출력은 훈련 과정과 그 결과 로라 가중치가 포옹 얼굴에 업로드 된 것을 보여줍니다. 그런 다음 미세 조정 된 모델에 대한 추론이 시연되어 다양한 시나리오에서 지정된 주제의 생성 된 이미지를 보여줍니다. 마지막으로, 미세 조정 된 모델과 함께 정유소를 사용하는 것이 탐구됩니다. 길이 제약으로 인해이 자세한 섹션은 여기에서 크게 압축됩니다. 완전한 코드 및 설명은 원본을 참조하십시오.

결론

이 튜토리얼은 SDXL과 DreamBooth에 대한 포괄적 인 개요를 제공하여

라이브러리 및 자동 트레인 고급 기능을 보여줍니다. 미세 조정 프로세스는 개인화 된 이미지 생성의 힘을 보여 주며, 정유 자와 미세 조정 모델과의 상호 작용과 같은 추가 탐색 영역을 강조합니다. 자습서는 AI 분야에서 추가 학습을위한 권장 사항으로 마무리됩니다.

위 내용은 Dreambooth 및 Lora와 함께 미세 조정 안정 확산 XL의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!