Google은 가장 빠른 모바일 확산 모델인 MobileDiffusion을 구축하여 휴대폰에서 이미지를 렌더링합니다.

휴대폰 및 기타 모바일 장치에서 Stable Diffusion과 같은 대규모 생성 AI 모델을 실행하는 것은 생성 속도가 주요 제약인 업계의 핫스팟 중 하나가 되었습니다.

최근 Google의 논문 "MobileDiffusion: 모바일 기기에서 1초 미만의 텍스트-이미지 생성"이 제안되었으며, 이는 iPhone 15 Pro에서 단 0.2초 밖에 걸리지 않는 모바일 기기에서 가장 빠른 텍스트-이미지 생성을 제안했습니다. 이 논문은 UFOGen과 동일한 팀에서 나온 것입니다. 초소형 확산 모델을 만드는 동시에 샘플링 가속을 위해 현재 널리 사용되는 Diffusion GAN 기술 경로도 채택합니다.

논문을 보려면 다음 링크를 클릭하세요: https://arxiv.org/abs/2311.16567

다음은 MobileDiffusion이 한 단계로 생성한 결과입니다.

그렇다면 MobileDiffusion은 어떻게 최적화되나요?

먼저 문제부터 시작하여 왜 최적화가 필요한지 살펴보겠습니다.

현재 가장 널리 사용되는 텍스트-이미지 생성 기술은 확산 모델을 기반으로 합니다. 사전 훈련된 모델의 강력한 기본 이미지 생성 기능과 다운스트림 미세 조정 작업에 대한 견고성으로 인해 이미지 편집, 제어 가능한 생성, 개인화 생성 및 비디오 생성과 같은 영역에서 확산 모델의 탁월한 성능을 확인했습니다

그러나 기본 모델로서 단점도 뚜렷하며 주로 두 가지 측면을 포함합니다. 첫째, 확산 모델의 매개변수 수가 많으면 계산 속도가 느려지고, 특히 리소스가 제한될 때 확산 모델에는 많은 매개변수가 필요합니다. 샘플링은 여러 단계를 거치므로 추론 속도가 느려집니다. 많이 기대되는 Stable Diffusion 1.5(SD)를 예로 들면, 기본 모델에는 거의 10억 개의 매개변수가 포함되어 있습니다. 모델을 양자화하고 추론을 수행한 경우 iPhone 15 Pro에서 50단계의 샘플링이 80초에 가깝습니다. 이러한 고가의 리소스 요구 사항과 느린 사용자 경험으로 인해 모바일 단말기의 적용 시나리오가 크게 제한됩니다

위의 문제를 해결하기 위해 MobileDiffusion은 지점 간을 최적화합니다. (1) 큰 모델 크기 문제에 대응하여 우리는 주로 계산 비용이 많이 드는 컨볼루션 단순화 및 주의 작업을 하위 계층에 배치하고 다음과 같은 모바일 장치 작업 최적화를 대상으로 하는 등 핵심 구성 요소인 UNet에 대해 많은 실험과 최적화를 수행했습니다. 활성화 기능 등 (2) 확산 모델에는 다단계 샘플링이 필요하다는 문제에 대응하여 MobileDiffusion에서는 Progressive Distillation 및 최신 UFOGen과 같은 1단계 추론 기술을 탐구하고 실습합니다.

모델 최적화

MobileDiffusion은 오늘날 오픈 소스 커뮤니티에서 가장 인기 있는 SD 1.5 UNet을 기반으로 최적화되었습니다. 각 최적화 작업 후에는 원래 UNet 모델과 관련된 성능 손실이 동시에 측정됩니다. 측정 지표에는 일반적으로 사용되는 두 가지 측정항목인 FID와 CLIP이 포함됩니다.

전체 계획

사진의 왼쪽은 원래 UNet의 설계도이며 기본적으로 Convolution과 Transformer가 포함되어 있고 Transformer에는 self- Attention Force 메커니즘과 Cross-Attention 메커니즘

MobileDiffusion의 UNet 최적화에 대한 핵심 아이디어는 두 가지 점으로 나뉩니다. 1) Streamlining Convolution 우리 모두 알고 있듯이 고해상도 기능 공간에 대한 Convolution은 매우 시간이 많이 걸립니다. 매개변수의 수가 많습니다. 여기서는 Full Convolution을 나타냅니다. 2) 주의 효율성 향상. Convolution과 마찬가지로 High Attention은 전체 기능 공간의 길이를 계산해야 합니다. Self-Attention 복잡성은 기능 공간의 평면화된 길이와 정사각형으로 관련되며 Cross-Attention도 공간 길이에 비례합니다.

실험을 통해 UNet의 16개 Transformer 전체를 가장 낮은 특징 해상도를 갖는 내부 레이어로 이동하고 각 레이어에서 컨볼루션을 잘라내는 것이 성능에 뚜렷한 영향을 미치지 않는다는 것이 입증되었습니다. 달성된 효과는 다음과 같습니다. MobileDiffusion은 원래 22개의 컨볼루션과 16개의 Transformer를 11개의 컨볼루션과 약 12개의 Transformer로 줄이며 이러한 주의는 모두 저해상도 기능 맵에서 수행됩니다. 이에 대한 효율성이 크게 향상되어 효율성이 40% 향상되고 매개변수 전단이 40% 향상됩니다. 최종 모델은 오른쪽에 표시됩니다. 다음은 다른 모델과의 비교입니다.

다시 작성해야 할 내용은 다음과 같습니다. 마이크로 디자인

여기에서는 몇 가지 참신한 디자인만 소개할 예정이며 관심 있는 독자는 본문에서 좀 더 자세히 소개하겠습니다.

Self-Attention과 Cross-Attention을 분리

기존 UNet의 Transformerr에는 Self-Attention과 Cross-Attention이 모두 포함되어 있습니다. MobileDiffusion은 모든 Self-Attention을 최저 해상도 기능 맵에 배치하지만 Cross-Attention In을 유지합니다. 중간 계층에서 이 디자인은 컴퓨팅 효율성을 향상시킬 뿐만 아니라 모델 도면의 품질도 보장하는 것으로 나타났습니다. 기능이 매우 병렬처리가 어렵고 효율성이 낮다. MobileDiffusion에서는 각 데이터 포인트의 활성화에 relu 함수가 더 효율적이기 때문에 Softmax 함수를 relu 함수에 직접 조정(미세 조정)하는 새로운 방법을 제안합니다. 놀랍게도 약 10,000단계의 미세 조정만으로 모델의 지표가 향상되고 생성된 이미지의 품질이 유지되었습니다. 따라서 Softmax 함수와 비교하면 relu 함수의 장점은 확실합니다

Separable Convolution(separable convolution)

MobileDiffuison 매개변수 간소화의 핵심도 Seprable Convolution을 사용하는 것입니다. 이 기술은 MobileNet과 같은 작업, 특히 모바일 측면에서 매우 효과적인 것으로 입증되었지만 일반적으로 생성 모델에서는 거의 사용되지 않습니다. MobileDiffusion 실험에서는 Separable Convolution이 특히 UNet의 가장 안쪽 레이어에 배치될 때 매개변수를 줄이는 데 매우 효과적인 것으로 나타났습니다. 분석을 통해 모델 품질에 손실이 없음이 입증되었습니다.

샘플링 최적화

현재 가장 널리 사용되는 샘플링 최적화 방법에는 각각 8단계와 1단계를 달성할 수 있는 점진적 증류(Progressive Distillation)와 UFOGen이 있습니다. 모델을 극도로 단순화한 후에도 이러한 샘플링 방법이 여전히 효과적이라는 것을 증명하기 위해 MobileDiffusion은 이 두 가지 방법에 대한 실험적 검증을 수행했습니다

최적화된 샘플링을 기준 모델과 비교한 결과 8 샘플링 최적화 후 단계 및 1단계 모델 지표가 크게 개선되었습니다

Experiments and Application

Mobile Benchmarks

MobileDiffusion은 iPhone 15 Pro에서 가장 빠르게 실행될 수 있습니다. 현재 플로팅 속도가 0.2초로 빠릅니다!

다운스트림 작업 테스트

MobileDiffusion은 ControlNet/Plugin 및 LoRA Finetune을 포함한 다운스트림 작업을 탐색했습니다. 아래 그림에서 볼 수 있듯이, 모델 및 샘플링 최적화 후에도 MobileDiffusion은 여전히 ​​우수한 모델 미세 조정 기능을 유지합니다.

요약

MobileDiffusion은 다양한 모델과 샘플링 최적화 방법을 탐색했으며 마침내 모바일 측에서 1초 미만의 이미지 생성 기능을 달성하는 동시에 다운스트림 미세 조정 애플리케이션의 안정성을 보장했습니다. 이는 향후 효율적인 확산 모델 설계에 영향을 미칠 것이며 모바일 애플리케이션에 대한 실제 적용 사례가 확대될 것이라고 믿습니다

위 내용은 Google은 가장 빠른 모바일 확산 모델인 MobileDiffusion을 구축하여 휴대폰에서 이미지를 렌더링합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!