Apple의 대형 Vincent 사진 모델 공개: 러시아식 마트료시카 같은 스프레드, 1024x1024 해상도 지원

Stable Diffusion에 익숙해서 이제 드디어 Apple에서 만든 Matryoshka 스타일의 Diffusion 모델을 갖게 되었습니다.

생성 AI 시대에 확산 모델은 이미지, 비디오, 3D, 오디오 및 텍스트 생성과 같은 생성 AI 애플리케이션을 위한 인기 있는 도구가 되었습니다. 그러나 모델이 각 단계에서 모든 고해상도 입력을 다시 코딩해야 하기 때문에 확산 모델을 고해상도 영역으로 확장하는 것은 여전히 ​​중요한 과제에 직면해 있습니다. 이러한 과제를 해결하려면 어텐션 블록이 포함된 심층 아키텍처를 사용해야 하며, 이로 인해 최적화가 더 어려워지고 컴퓨팅 성능과 메모리가 더 많이 소모됩니다.

어떻게 해야 하나요? 최근 일부 연구에서는 고해상도 이미지를 위한 효율적인 네트워크 아키텍처를 조사하는 데 중점을 두었습니다. 그러나 기존 방법 중 512×512 해상도 이상의 결과를 입증한 방법은 없으며, 발전 품질은 주류 캐스케이드 또는 잠재 방법에 비해 뒤떨어집니다.

저해상도 모델과 여러 초해상도 확산 모델을 학습하여 컴퓨팅 성능을 절약하는 OpenAI DALL-E 2, Google IMAGEN 및 NVIDIA eDiffI를 예로 들어 보겠습니다. 여기서 각 구성 요소는 별도로 훈련됩니다. 반면, 잠재 확산 모델(LDM)은 저해상도 확산 모델만 학습하고 별도로 훈련된 고해상도 오토인코더에 의존합니다. 두 솔루션 모두 다단계 파이프라인은 훈련과 추론을 복잡하게 만들어 주의 깊은 조정이나 하이퍼파라미터가 필요한 경우가 많습니다.

이 기사에서 연구자들은 엔드투엔드 고해상도 이미지 생성을 위한 새로운 확산 모델인 MDM(Matryoshka 확산 모델)을 제안합니다. 코드는 곧 공개될 예정입니다.

논문 주소: https://arxiv.org/pdf/2310.15111.pdf

본 연구에서 제안한 주요 아이디어는 고해상도 생성의 일부로 저해상도 확산 과정을 사용하는 것입니다. 임베딩을 사용하여 UNet 아키텍처는 여러 해상도에서 공동 확산 프로세스를 수행합니다.

연구 결과에 따르면 MDM은 중첩된 UNet 아키텍처와 함께 1) 다중 해상도 손실을 달성합니다. 고해상도 입력 노이즈 제거의 수렴 속도를 크게 향상합니다. 2) 낮은 교육에서 시작하는 효율적인 점진적 교육 계획 해상도 확산 모델이 시작되고 고해상도 입력 및 출력이 계획대로 점차 추가됩니다. 실험 결과는 다중 해상도 손실과 점진적인 훈련을 결합하면 훈련 비용과 모델 품질 간의 균형을 더 잘 유지할 수 있음을 보여줍니다.

본 연구에서는 클래스 조건부 이미지 생성과 텍스트 조건부 이미지 및 비디오 생성에 대한 MDM을 평가합니다. MDM을 사용하면 캐스케이드나 잠재 확산을 사용하지 않고도 고해상도 모델을 교육할 수 있습니다. 절제 연구에 따르면 다중 해상도 손실과 점진적 훈련 모두 훈련 효율성과 품질을 크게 향상시키는 것으로 나타났습니다.

MDM에서 생성된 다음 사진과 동영상을 감상해 보세요.

방법 개요

연구원들은 MDM 확산 모델이 계층적으로 구조화된 데이터 구성을 활용하면서 고해상도로 엔드 투 엔드(end-to-end) 학습된다고 말했습니다. MDM은 먼저 확산 공간에서 표준 확산 모델을 일반화한 다음 전용 중첩 아키텍처 및 훈련 프로세스를 제안합니다.

먼저 확장된 공간에서 표준 확산 모델을 일반화하는 방법을 살펴보겠습니다.

캐스케이드 방식이나 잠재 방식과의 차이점은 MDM이 확장 공간에 다중 해상도 확산 과정을 도입하여 계층 구조로 단일 확산 과정을 학습한다는 것입니다. 자세한 내용은 아래 그림 2에 나와 있습니다.

특히, 데이터 포인트 x ∈ R^N이 주어지면 연구원은 시간 관련 잠재 변수 z_t = z_t^1 , z_t^R ∈ R^N_1+... NR을 정의합니다.

연구자들은 확장된 공간에서 확산 모델링을 수행하면 다음과 같은 두 가지 장점이 있다고 말합니다. 첫째, 우리는 일반적으로 추론 중에 전체 해상도 출력 z_t^R에 관심을 갖고 다른 모든 중간 해상도는 추가 잠재 변수 z_t^r로 처리되어 분포 모델링의 복잡성이 증가합니다. 둘째, 다중 해상도 종속성은 z_t^r 전체에서 가중치와 계산을 공유할 수 있는 기회를 제공하여 보다 효율적인 방식으로 계산을 재분배하고 효율적인 교육 및 추론을 가능하게 합니다.

중첩 아키텍처(NestedUNet)가 어떻게 작동하는지 살펴보겠습니다.

일반적인 확산 모델과 유사하게 연구원들은 UNet 네트워크 구조를 사용하여 MDM을 구현합니다. MDM에서는 잔여 연결과 계산 블록이 병렬로 사용되어 세밀한 입력 정보를 유지합니다. 여기의 계산 블록에는 여러 레이어의 컨볼루션 레이어와 Self-Attention 레이어가 포함되어 있습니다. NestedUNet 및 표준 UNet의 코드는 다음과 같습니다.

다른 계층적 방법에 비해 단순하다는 점 외에도 NestedUNet을 사용하면 가장 효율적인 방식으로 계산을 분산할 수 있습니다. 아래 그림 3에서 볼 수 있듯이, 연구원들의 초기 조사에서는 MDM이 대부분의 매개변수와 계산을 가장 낮은 해상도로 할당할 때 훨씬 더 나은 확장성을 달성한다는 사실을 발견했습니다.

마지막은 학습입니다.

연구원들은 아래 방정식 (3)과 같이 기존의 노이즈 제거 대상을 사용하여 여러 해상도에서 MDM을 교육합니다.

여기에서는 점진적인 훈련이 사용됩니다. 연구진은 위의 공식 (3)에 따라 MDM을 end-to-end로 직접 훈련시켰으며, 원래의 기준 방법보다 더 나은 수렴성을 보여주었습니다. 그들은 GAN 논문에서 제안된 것과 유사한 간단한 점진적 훈련 방법을 사용하면 고해상도 모델의 훈련이 크게 가속화된다는 것을 발견했습니다.

이 훈련 방법은 처음부터 비용이 많이 드는 고해상도 훈련을 방지하고 전반적인 수렴을 가속화합니다. 뿐만 아니라 단일 배치에서 동시에 다양한 최종 해상도로 샘플을 교육하는 혼합 해상도 교육도 통합했습니다.

실험 및 결과

MDM은 입력 크기가 점진적으로 압축될 수 있는 모든 문제에 적용할 수 있는 일반적인 기술입니다. MDM과 기본 접근 방식의 비교는 아래 그림 4에 나와 있습니다.

표 1은 ImageNet(FID-50K)과 COCO(FID-30K)의 비교 결과를 보여줍니다.

아래 그림 5, 6, 7은 이미지 생성(그림 5), 텍스트 대 이미지(그림 6), 텍스트 대 비디오(그림 7)에서 MDM의 결과를 보여줍니다. MDM은 상대적으로 작은 데이터 세트로 교육을 받았음에도 불구하고 고해상도 이미지와 비디오를 생성하는 강력한 제로샷 기능을 보여줍니다.

관심 있는 독자는 논문의 원문을 읽고 연구 내용에 대해 자세히 알아볼 수 있습니다.

위 내용은 Apple의 대형 Vincent 사진 모델 공개: 러시아식 마트료시카 같은 스프레드, 1024x1024 해상도 지원의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!