최초의 초대형 GAN 모델! 생성 속도는 Diffusion보다 20배 이상 빠르며, 이미지 생성 시간은 최대 1,600만 픽셀을 지원합니다.

OpenAI의 DALL-E 2 출시로 자동회귀 및 확산 모델이 밤새 대규모 생성 모델의 새로운 표준이 되었습니다. 그 전에는 GAN(Generative Adversarial Networks)이 항상 주류 선택이었고 StyleGAN과 같은 파생 기술이었습니다. .

AIGC의 인기 뒤에는 기술적인 관점에서 이미지 생성 모델의 아키텍처에 큰 변화가 있었습니다.

OpenAI의 DALL-E 2 출시로 자동회귀 및 확산 모델이 밤새 대규모 생성 모델의 새로운 표준이 되었습니다. 그 전에는 GAN(Generative Adversarial Networks)이 항상 주류 선택이었고 StyleGAN을 파생시켰습니다. 그리고 다른 기술.

GAN에서 확산 모델로의 아키텍처 전환도 다음과 같은 질문을 제기합니다. 예를 들어 LAION과 같은 대규모 데이터 세트에서 GAN 모델의 크기를 늘려 성능을 더욱 향상시킬 수 있습니까?

최근 StyleGAN 아키텍처의 용량 증가로 인한 불안정성 문제에 대응하여 포항과학기술대학교(대한민국), 카네기멜론대학교, Adobe 연구소의 연구진은 새로운 생성적 적대 네트워크 아키텍처인 GigaGAN을 제안했습니다. 모델의 크기 제한을 깨고 GAN이 여전히 텍스트-이미지 합성 모델로서 유능할 수 있음을 보여줍니다.

논문 링크: https://arxiv.org/abs/2303.05511

프로젝트 링크: https://mingukkang.github.io/GigaGAN/

GigaGAN에는 세 가지 주요 장점이 있습니다.

1. 동일한 수준의 매개변수를 사용하는 Stable Diffusion-v1.5에 비해 추론 시 생성 속도가 2.9초에서 0.13초로 단축됩니다.

2. 고해상도 이미지를 합성할 수 있습니다. 예를 들어 1600만 화소 이미지를 3.66초 만에 합성할 수 있습니다.

3. 잠재 보간, 스타일 혼합, 벡터 산술 연산 등 다양한 잠재 공간 편집 애플리케이션을 지원합니다.

GAN이 한계에 도달했나요?

DALL-E 2, Imagen, Parti 및 Stable Diffusion과 같은 최근 출시된 모델 시리즈는 이미지 생성의 새로운 시대를 열어 전례 없는 수준의 이미지 품질과 모델 유연성에 도달합니다.

현재 지배적인 패러다임인 "확산 모델"과 "자기 회귀 모델"은 모두 반복 추론의 양날의 검에 의존합니다. 반복 방법은 간단한 목표로 안정적인 훈련을 수행할 수 있지만 추론 과정에서 오류가 더 높기 때문입니다. 계산 비용.

반대로 생성적 적대 신경망(GAN)은 이미지를 생성하는 데 단 하나의 정방향 패스만 필요하므로 본질적으로 더 효율적입니다.

GAN 모델이 생성 모델링의 "이전 시대"를 지배했지만 훈련 프로세스의 불안정성으로 인해 GAN을 확장하려면 네트워크 구조와 훈련 고려 사항을 신중하게 조정해야 합니다. 따라서 GAN은 단일 또는 여러 객체 클래스를 모델링하지만 오픈 월드 객체 생성은 물론이고 복잡한 데이터 세트로 확장하는 것은 여전히 ​​어려운 일입니다.

현재 매우 큰 모델, 데이터 및 컴퓨팅 리소스는 주로 확산 및 자기회귀 모델에 중점을 두고 있습니다.

이 연구에서 연구자들은 주로 다음 질문을 다룹니다.

GAN이 계속 확장하고 이러한 리소스로부터 잠재적으로 이익을 얻을 수 있습니까? 아니면 GAN이 이미 한계에 도달한 걸까요? GAN의 추가 확장을 방해하는 것은 무엇입니까? 이러한 장애물을 극복할 수 있을까요?

안정적인 훈련 GAN

연구원들은 먼저 StyleGAN2로 실험을 수행한 후 단순히 백본 네트워크를 확장하면 불안정한 훈련으로 이어질 수 있음을 관찰한 후 몇 가지 핵심 문제를 확인한 후 모델 용량을 늘리면서 훈련을 안정화할 것을 제안했습니다.

먼저, 필터 뱅크를 유지하고 특정 샘플의 선형 조합을 취하여 발생기의 용량을 효과적으로 확장합니다.

확산 모델의 맥락에서 일반적으로 사용되는 여러 기술을 채택하고 Self-Attention 메커니즘(이미지만) 및 Cross-Attention(이미지-텍스트)을 결합하는 등 GAN에 유사한 성능 향상을 가져올 수 있음을 확인했습니다. 레이어는 성능을 향상시킵니다.

또한 연구원들은 다중 규모 훈련을 다시 도입하여 이미지-텍스트 정렬을 개선하고 출력에서 ​​저주파 세부 정보를 생성할 수 있는 새로운 방식을 발견했습니다.

다중 규모 훈련을 통해 GAN 기반 생성기는 저해상도 블록의 매개변수를 보다 효율적으로 사용할 수 있어 이미지-텍스트 정렬 및 이미지 품질이 향상됩니다.

발전기

GigaGAN의 생성기는 텍스트 인코딩 분기, 스타일 매핑 네트워크 및 다중 규모 합성 네트워크로 구성되며 안정적인 주의) 및 적응형 커널 선택으로 구성됩니다.

텍스트 인코딩 분기에서는 사전 훈련된 CLIP 모델과 학습된 주의 레이어 T를 먼저 사용하여 텍스트 임베딩을 추출한 다음 임베딩 프로세스를 스타일 매핑 네트워크 M으로 전달하여 유사한 스타일 벡터 w를 생성합니다. to StyleGAN

합성 네트워크는 스타일 인코딩을 변조로 사용하고 텍스트 삽입을 주목으로 사용하여 이미지 피라미드를 생성합니다. 이를 기반으로 입력 텍스트 조건에 따라 컨볼루션을 구현하는 샘플 적응형 커널 선택 알고리즘이 도입됩니다. 커널 적응 선택.

Discriminator

GigaGAN의 Discriminator는 생성기와 마찬가지로 두 개의 분기로 구성되어 있으며 각각 이미지 및 텍스트 조건을 처리하는 데 사용됩니다.

텍스트 분기는 생성기와 유사한 텍스트 분기를 처리합니다. 이미지 분기는 이미지 피라미드를 입력으로 받고 각 이미지 규모에 대해 독립적인 예측을 수행합니다.

빠른 수렴을 촉진하기 위해 여러 추가 손실 함수가 공식에 도입되었습니다.

실험 결과

대부분의 기존 모델이 공개적으로 제공되지 않기 때문에 대규모 텍스트-이미지 합성 작업에 대해 체계적이고 통제된 평가를 수행하는 것은 어렵고, 훈련 코드를 사용할 수 있더라도 처음부터 새로운 모델을 훈련해야 합니다. 모델 비용도 엄청날 것입니다.

연구원들은 훈련 데이터 세트, 반복 횟수, 배치 크기 및 모델 크기에 상당한 차이가 있음을 인정하면서 Imagen, LDM(Latent Diffusion Models), Stable Diffusion 및 Parti를 사용한 실험을 비교하기로 결정했습니다.

정량적 평가 지표의 경우 출력 분포의 진정성을 측정하는 데 FID(Frechet Inception Distance)가 주로 사용되며, 이미지-텍스트 정렬을 평가하는 데 CLIP 점수가 사용됩니다.

논문에서는 다섯 가지 실험이 수행되었습니다.

1 각 기술 구성 요소를 점진적으로 통합하여 제안된 방법의 효율성을 입증합니다.

2. GigaGAN이 확산 또는 자동 회귀 모델보다 수백 배 더 빠르게 결과를 생성하면서 안정적인 확산(SD-v1.5)에 필적하는 FID를 나타냄

3. 모델은 GigaGAN이 증류 기반 확산 모델보다 더 빠른 품질의 이미지를 합성할 수 있음을 보여줍니다.

4 GigaGAN의 업샘플러는 해상도 작업에서 다른 업샘플러에 비해 조건부 및 무조건적 슈퍼 이점을 수행하는 것으로 확인되었습니다.

5. 결과는 대규모 GAN이 여전히 GAN의 연속적이고 분해된 잠재 공간 작업을 활용하여 새로운 이미지 편집 모드를 가능하게 한다는 것을 보여줍니다.

연구원들은 매개변수를 조정한 후 LAION2B-en과 같은 대규모 데이터 세트에서 10억 매개변수 GAN(GigaGAN)의 안정적이고 확장 가능한 교육을 달성했습니다.

그리고 이 방법은 먼저 64×64에서 생성한 다음 512×512로 업샘플링하는 다단계 접근 방식을 채택합니다. 이 두 네트워크는 모듈식이며 플러그 앤 플레이 사용이 가능할 만큼 강력합니다. .

결과는 텍스트 조건이 적용된 GAN 업샘플링 네트워크가 훈련 중에 확산 모델의 이미지를 전혀 볼 수 없음에도 불구하고 기본 확산 모델(예: DALL-E 2)에 대한 효율적인 고품질 업샘플러 역할을 할 수 있음을 보여줍니다.

이러한 결과를 종합하면 GigaGAN은 이전 GAN 모델보다 훨씬 우수하며 StyleGAN2보다 36배, StyleGAN-XL 및 XMC-GAN보다 6배 더 큽니다.

GiGAN의 10억 매개변수 볼륨은 Imagen(3B), DALL-E 2(5.5B), Parti(20B) 등 최근 출시된 최대 합성 모델에 비해 아직은 낮지만 아직은 부족합니다. 사용 가능 모델 크기에 따른 질량 포화가 관찰되었습니다.

GigaGAN은 COCO2014 데이터 세트에서 9.09의 제로샷 FID를 달성했습니다. 이는 DALL-E 2, Parti-750M 및 Stable Diffusion

응용 시나리오

프롬프트 보간(프롬프트 보간(Prompt interpolation) )

GigaGAN은 힌트 사이를 원활하게 보간할 수 있습니다. 아래 이미지의 네 모서리는 동일한 잠재 코드로 생성되지만 텍스트 힌트가 다릅니다.

분리된 프롬프트 혼합

GigaGAN은 분리된 잠재 공간을 유지하여 한 샘플의 거친 스타일과 다른 샘플의 미세한 스타일을 결합할 수 있으며, GigaGAN은 텍스트 프롬프트를 통해 스타일을 직접 제어할 수 있습니다. .

대략적인 스타일 교환

GAN 기반 모델 아키텍처는 별도의 잠재 공간을 유지하여 한 샘플의 거친 스타일을 다른 샘플과 비교할 수 있습니다. 미세한 스타일의 샘플이 혼합되어 있습니다. 함께.

참고자료:

https://mingukkang.github.io/GigaGAN/

위 내용은 최초의 초대형 GAN 모델! 생성 속도는 Diffusion보다 20배 이상 빠르며, 이미지 생성 시간은 최대 1,600만 픽셀을 지원합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!