최근 인기가 많은 확산모델, 확산세대 모델의 첫 리뷰!

이 리뷰(확산 모델: 방법 및 응용 분야에 대한 종합 조사)는 캘리포니아 대학교 및 Google Research의 Ming-Hsuan Yang, Peking University의 Cui Bin Laboratory 및 CMU, UCLA, 및 Montreal Mila 연구소에서 처음으로 확산 모델 알고리즘의 세부 분류부터 시작하여 다른 5개 주요 생성 모델과의 연관성, 7개 주요 적용에 대한 종합적인 요약 및 분석을 수행했습니다. 마지막으로 모델의 기존 한계와 향후 개발 방향을 확산 모델로 제안하였다.

기사 링크: https://arxiv.org/abs/2209.00796 확산 모델 논문 분류 요약에 대한 이 리뷰 github 링크: https://github.com/YangLing0818/Diffusion-Models-Papers-Survey-Taxonomy

1 소개

확산 모델은 심층 생성 모델의 새로운 SOTA입니다. 확산 모델은 이미지 생성 작업에서 기존 SOTA: GAN을 능가하며, 컴퓨터 비전, NLP, 파형 신호 처리, 다중 모드 모델링, 분자 그래프 모델링, 시계열 모델링 등 다양한 응용 분야에서 탁월한 성능을 발휘합니다. 정화 등 또한 확산 모델은 강력한 학습, 표현 학습, 강화 학습 등 다른 연구 분야와 밀접하게 관련되어 있습니다.

원래 확산 모델에도 단점이 있으며, 일반적으로 샘플을 추출하는 데 수천 번의 평가 단계가 필요하며 일반화하는 가능성 기반 모델과 비교할 수 없습니다. 다양한 데이터 유형에 액세스하는 것이 좋지 않습니다. 최근에는 위의 한계점을 실무적 관점에서 해결하기 위해 많은 노력을 기울이거나 이론적 관점에서 모델 성능을 분석하고 있다.

그러나 알고리즘부터 응용까지 확산 모델의 최근 발전에 대한 체계적인 검토가 부족합니다. 빠르게 성장하는 이 분야의 진행 상황을 반영하기 위해 우리는 확산 모델에 대한 최초의 포괄적인 검토를 제시합니다. 우리는 우리의 작업이 확산 모델의 설계 고려 사항과 고급 방법을 밝히고 다양한 분야에서의 적용을 보여주며 향후 연구 방향을 제시할 것이라고 생각합니다. 본 리뷰의 요약은 아래 그림과 같습니다.

확산 모델은 다양한 작업에서 탁월한 성능을 발휘하지만 여전히 단점이 있으며 많은 연구에서 확산 모델을 개선했습니다.

확산 모델의 연구 진행 상황을 체계적으로 명확히 하기 위해 기존 확산 모델의 세 가지 주요 단점인 느린 샘플링 속도, 최대 우도 차이, 약한 데이터 일반화 능력을 요약하고 확산 모델 개선에 대한 연구를 제안했습니다. 샘플링 속도 향상, 최대 가능성 향상, 데이터 일반화 향상의 세 가지 해당 범주로 나뉩니다.

먼저 개선 동기를 설명한 후, 방법의 특성에 따라 연구를 개선 방향별로 분류하여 방법 간의 연관성과 차이점을 명확하게 보여줍니다. 여기에서는 그림과 같이 몇 가지 중요한 방법만 우리 작업에서 자세히 소개합니다.

세 가지 유형의 확산 모델을 분석한 후 나머지 5가지 방법을 소개합니다. 생성 모델 GAN, VAE, 자동회귀 모델, 정규화 흐름 및 에너지 기반 모델.

확산 모델의 우수한 특성을 고려하여 연구자들은 확산 모델을 특성에 따라 다른 생성 모델과 결합했습니다. 따라서 확산 모델의 특성과 개선 작업을 더욱 입증하기 위해 확산 모델을 도입했습니다. 및 기타 생성 모델에 대한 자세한 내용 모델 조합은 원래 생성 모델에 대한 개선 사항을 작동하고 보여줍니다.

확산 모델은 여러 분야에서 탁월한 성능을 발휘하며, 확산 모델은 분야마다 응용 분야에 따라 변형이 다르다는 점을 고려하여 컴퓨터 비전, NLP, 파형 신호 처리 분야를 포함하는 확산 모델의 응용 연구를 체계적으로 소개했습니다. , 다중 모드 모델링, 분자 그래프 모델링, 시계열 모델링, 적대적 정제. 각 작업에 대해 작업을 정의하고 확산 모델을 활용하여 작업을 처리하는 작업을 소개합니다. 이 작업의 주요 기여를 다음과 같이 요약합니다.

• 새로운 분류 방법: 확산 모델의 새롭고 체계적인 분류와 그 응용을 제안합니다. 구체적으로 모델을 샘플링 속도 향상, 최대 우도 추정 향상, 데이터 일반화 향상의 세 가지 범주로 나눕니다. 또한 확산 모델의 적용을 컴퓨터 비전, NLP, 파형 신호 처리, 다중 모드 모델링, 분자 그래프 모델링, 시계열 모델링 및 적대적 정제의 7가지 범주로 분류합니다.
• 종합적인 검토: 현대 확산 모델과 그 응용에 대한 최초의 포괄적인 개요를 제공합니다. 각 확산 모델의 주요 개선 사항을 제시하고 원본 모델과 필요한 비교를 수행하며 해당 논문을 요약합니다. 확산 모델의 각 적용 유형에 대해 확산 모델이 다루는 주요 문제를 제시하고 이러한 문제를 해결하는 방법을 설명합니다.
• 미래 연구 방향: 우리는 향후 연구에 대한 열린 질문을 제기하고 알고리즘 및 응용 측면에서 확산 모델의 향후 개발을 위한 몇 가지 제안을 제공합니다.

2 확산 모델 기본

생성 모델링의 핵심 문제는 모델 유연성과 계산 가능성 간의 균형입니다. 확산 모델의 기본 아이디어는 순방향 확산 과정을 통해 데이터의 분포를 체계적으로 교란시킨 다음 역확산 과정을 학습하여 데이터의 분포를 복원함으로써 매우 유연하고 계산하기 쉬운 모델을 만드는 것입니다. 생성 모델.

(1) Denoising Diffusion Probabilistic Models(DDPM)

A DDPM은 두 개의 매개변수화된 Markov 체인으로 구성되며 변분 추론을 사용하여 유한 시간 샘플 후 원본 데이터와 일치하는 분포를 생성합니다. 순방향 체인의 기능은 데이터 분포가 사전 분포, 즉 표준 가우스 분포로 바뀔 때까지 미리 설계된 노이즈 일정에 따라 데이터에 가우스 노이즈를 점차적으로 추가하는 것입니다. 역방향 체인은 주어진 사전에서 시작하고 매개변수화된 가우스 변환 커널을 사용하여 원래 데이터 분포를 점진적으로 복원하는 방법을 학습합니다. 는 원본 데이터와 그 분포를 나타내며 순방향 체인의 분포는 다음 공식으로 표현할 수 있습니다.

이는 순방향 체인이 t 단계를 추가한 샘플인 Markov 프로세스임을 나타냅니다. 소음의 진행을 제어하는 ​​특정 매개변수가 미리 제공됩니다. 1에 가까워지면 대략 표준 가우스 분포를 따르는 것으로 간주할 수 있습니다. 매우 작을 때 역과정의 전송 커널은 대략 가우스로 간주될 수 있습니다:

손실 함수로 변형 하한을 학습할 수 있습니다:

(2 ) Score-Based Generative Models (SGM)

위의 DDPM은 SGM의 이산형 형태라고 볼 수 있습니다. SGM은 데이터 분포를 원활하게 방해하고 원래 데이터 분포를 알려진 사전 분포(

)로 변환하기 위해 확률적 미분 방정식(SDE)을 구성하고 사전 분포를 다시 변환하기 위해 해당 역 SDE 원시 데이터 분포:

따라서 확산 과정을 역전시키고 데이터를 생성하기 위해 필요한 유일한 정보는 각 시점의 분수 함수입니다. 점수 매칭 기술을 사용하면 다음과 같은 손실 함수를 통해 점수 함수를 학습할 수 있습니다.

두 가지 방법에 대한 자세한 소개와 둘 사이의 관계를 알아보려면 기사를 참조하세요. 원래 확산 모델의 세 가지 주요 단점은 느린 샘플링 속도, 빈약한 우도 최대화, 약한 데이터 일반화 능력입니다. 최근의 많은 연구에서 이러한 단점을 다루었으므로 향상된 확산 모델을 샘플링 속도 향상, 최대 우도 향상 및 데이터 일반화 향상의 세 가지 범주로 분류합니다. 다음 3개, 4개, 5개 섹션에서는 이러한 세 가지 유형의 모델을 자세히 소개합니다.

3 샘플링 가속 방법

적용 시 새로운 샘플의 품질을 최적화하기 위해 확산 모델은 새로운 샘플을 얻기 위해 수천 번의 계산 단계가 필요한 경우가 많습니다. 이는 확산 모델의 실제 적용 가치를 제한합니다. 실제 적용에서는 다음 처리 단계에 재료를 제공하기 위해 많은 수의 새로운 샘플을 생성해야 하는 경우가 많기 때문입니다.

연구원들은 확산 모델의 샘플링 속도를 향상시키기 위해 많은 연구를 진행해 왔습니다. 우리는 이러한 연구를 자세히 설명합니다. 이를 Discretization Optimization, Non-Markovian Process 및 Partial Sampling의 세 가지 방법으로 세분화합니다.

(1) Discretization Optimization 방법은 확산 SDE를 해결하는 방법을 최적화합니다. 실제로 복잡한 SDE를 해결하려면 이산 솔루션을 사용하여 실제 솔루션에 근접할 수 있기 때문에 이러한 유형의 방법은 SDE의 이산 방법을 최적화하여 이산 단계 수를 줄이면서 샘플 품질을 보장하려고 시도합니다. SGM은 역방향 프로세스를 해결하기 위한 일반적인 방법을 제안합니다. 즉, 순방향 프로세스와 역방향 프로세스에 대해 동일한 이산화 방법이 채택됩니다. 순방향 SDE의 이산화 방법이 다음과 같이 주어지면:

역 SDE도 같은 방식으로 이산화할 수 있습니다.

이 방법은 순진한 DDPM보다 약간 낫습니다. 또한 SGM은 각 단계에서 생성된 샘플이 올바른 분포를 갖도록 SDE 솔버에 교정기를 추가합니다. 솔루션의 각 단계에서 솔버에 샘플이 제공된 후 교정기는 Markov chain Monte Carlo 방법을 사용하여 방금 생성된 샘플의 분포를 수정합니다. 실험에 따르면 솔버에 교정기를 추가하는 것이 솔버의 단계 수를 직접 늘리는 것보다 더 효율적이라는 것을 보여줍니다.

(2) 비마코비안 프로세스 방법은 원래 마코비안 프로세스의 한계를 뛰어넘었습니다. 역 프로세스의 각 단계는 더 많은 과거 샘플을 사용하여 새로운 샘플을 예측할 수 있으므로 단계 크기가 클 때에도 수행할 수 있습니다. 더 나은 예측을 생성하여 샘플링 프로세스 속도를 높입니다. 그 중 주요 작업인 DDIM은 더 이상 순방향 프로세스가 Markov 프로세스라고 가정하지 않고 다음 분포를 따릅니다.

DDIM의 샘플링 프로세스는 이산화된 신성한 정규 미분 방정식으로 간주될 수 있으며, 샘플링 프로세스가 더욱 효율적이며 샘플 보간을 지원합니다. 추가 연구에서는 DDIM이 다기관 확산 모델 PNDM의 특별한 경우로 간주될 수 있음을 발견했습니다.

(3) 부분 ​​샘플링 방식은 생성 과정에서 시간 노드의 일부를 무시하고 나머지 시간 노드만 사용하여 샘플을 생성함으로써 샘플링 시간을 직접적으로 줄이는 방법입니다. 예를 들어, 점진적 증류(Progressive Distillation)는 훈련된 확산 모델에서 보다 효율적인 확산 모델을 추출합니다. 훈련된 확산 모델의 경우 Progressive Distillation은 새로운 확산 모델의 한 단계가 훈련된 확산 모델의 두 단계와 일치하도록 확산 모델을 재훈련하므로 새 모델은 이전 모델 샘플링 프로세스의 절반을 절약할 수 있습니다. 구체적인 알고리즘은 다음과 같습니다.

이 증류 과정을 지속적으로 반복하면 샘플링 단계가 기하급수적으로 줄어들 수 있습니다.

4 준지도 학습, 적대적 정화. 로그 우도는 직접 계산하기 어렵기 때문에 주로 VLB(변동 하한)를 최적화하고 분석하는 연구에 중점을 두고 있습니다. 우리는 확산 모델의 최대 우도 추정을 향상시키는 모델에 대해 자세히 설명합니다. 우리는 이를 Objectives Designing, Noise Schedule Optimization, Learnable Reverse Variance라는 세 가지 범주의 방법으로 세분화합니다.

(1) Objectives Designing 방법은 확산 SDE를 사용하여 생성된 데이터의 로그 우도와 점수 함수와 일치하는 손실 함수 간의 관계를 추론합니다. 이와 같이 손실함수를 적절하게 설계함으로써 VLB와 로그우도를 극대화할 수 있다. Song et al.은 손실 함수의 가중치 함수가 플러그인 역 SDE에 의해 생성된 샘플의 우도 함수 값이 손실 함수 값보다 작거나 같도록 설계할 수 있음을 증명했습니다. 즉, 손실 함수는 다음과 같습니다. 우도 함수의 상한. 분수 함수 피팅의 손실 함수는 다음과 같습니다.

손실 함수가 우도 함수의 VLB가 되도록 하려면 가중치 함수를 확산 계수 g(t)로 설정하기만 하면 됩니다. 즉:

(2) Noise Schedule Optimization은 순방향 프로세스의 노이즈 스케줄을 설계하거나 학습하여 VLB를 증가시킵니다. VDM은 이산 스텝이 무한대에 접근할 때 손실 함수가 신호 대 잡음비 함수 SNR(t)의 끝점에 의해 완전히 결정된다는 것을 증명합니다.

그런 다음 이산 스텝이 무한대에 접근하면 신호는 SNR(t)의 끝점은 VLB를 최적화하고, 신호 대 잡음비 함수의 중간 부분에 있는 함수 값을 학습하여 모델의 다른 측면을 개선합니다. 3. Learnable Reverse Variance 방법은 역과정의 분산을 학습함으로써 피팅 오류를 줄이고 VLB를 효과적으로 최대화할 수 있습니다. Analytic-DPM은 DDPM 및 DDIM의 역방향 프로세스에 최적의 기대값과 분산이 있음을 증명합니다.

위 공식과 훈련된 점수 함수를 사용하여 순방향 프로세스의 조건이 주어졌을 때 최적의 우수한 VLB 대략적으로 달성할 수 있습니다.

5 따라서 확산 모델은 처음에는 그림과 같은 연속적인 데이터만 처리할 수 있으며 이산 데이터나 다른 데이터 유형을 직접 적용하는 효과는 좋지 않습니다. 이는 확산 모델의 적용 시나리오를 제한합니다.

여러 연구 작업을 통해 확산 모델을 다른 데이터 유형에 적합한 모델로 일반화했으며 이러한 방법을 자세히 설명합니다. 우리는 이를 기능 공간 통합(Feature Space Unification)과 데이터 종속 전환 커널(Data-Dependent Transition Kernels)이라는 두 가지 방법으로 분류합니다.

(1) 특징 공간 통합 방식은 데이터를 통일된 잠재 공간으로 변환한 후 잠재 공간에 확산시키는 방식입니다. LSGM은 VAE 프레임워크를 통해 데이터를 연속적인 잠재공간으로 변환한 후 그 위에 확산시키는 것을 제안합니다. 이 방법의 어려움은 VAE와 확산 모델을 동시에 훈련하는 방법입니다. LSGM은 기본 사전이 다루기 어렵기 때문에 부분 일치 손실이 더 이상 적용되지 않음을 보여줍니다. LSGM은 VAE의 전통적인 손실 함수 ELBO를 손실 함수로 직접 사용하고 ELBO와 점수 매칭 간의 관계를 도출합니다.

이 공식은 상수를 무시한다는 의미에서 성립합니다. 확산 과정에서 샘플의 분수 함수를 매개변수화함으로써 LSGM은 ELBO를 효율적으로 학습하고 최적화할 수 있습니다.

(2) 데이터 종속형 전환 커널(Data-Dependent Transition Kernels) 방식은 확산 과정에서 데이터 유형의 특성에 따라 전환 커널을 설계하여 특정 데이터 유형에 확산 모델을 직접 적용할 수 있는 방식입니다. D3PM은 게으른 랜덤 워크, 흡수 상태 등으로 설정할 수 있는 이산 데이터에 대한 전환 커널을 설계했습니다. GEODIFF는 3차원 분자 그래프 데이터에 대한 이동 회전 불변 그래프 신경망을 설계하고 불변 초기 분포 및 전이 커널이 불변 주변 분포를 도출할 수 있음을 입증했습니다. 다음과 같은 번역 회전 변환이라고 가정합니다.

그러면 생성된 표본 분포에도 번역 회전 불변성이 있습니다.

6 다른 생성 모델과의 연결

은 다음과 같습니다. 아래 각 하위 섹션에서는 먼저 생성 모델의 다른 다섯 가지 중요한 범주를 소개하고 해당 범주의 장점과 한계를 분석합니다. 그런 다음 확산 모델이 이들과 어떻게 관련되어 있는지 소개하고 확산 모델을 통합하여 이러한 생성 모델을 어떻게 개선할 수 있는지 설명합니다. VAE, GAN, Autoregressive 모델, Normalizing flow, Energy-based 모델 및 확산 모델 간의 관계는 아래 그림에 나와 있습니다. ). 그러나 DDPM과 일반 VAE 간에도 차이점이 있습니다. VAE로서 DDPM의 인코더와 디코더는 모두 가우스 분포를 따르며 숨겨진 변수의 차원은 디코더의 모든 계층이 신경망을 공유하는 데이터 차원과 동일합니다.

DDPM은 GAN이 불안정한 학습 문제를 해결하는 데 도움이 될 수 있습니다. 데이터가 고차원 공간의 저차원 다양체에 존재하기 때문에 GAN에서 생성된 데이터의 분포는 실제 데이터의 분포와 중첩이 낮아 훈련이 불안정합니다. 확산 모델은 생성된 데이터와 실제 데이터에 확산 모델을 통해 노이즈를 체계적으로 추가하는 과정을 제공하며, 노이즈가 추가된 데이터를 판별자에게 전송함으로써 GAN이 학습할 수 없는 문제를 효과적으로 해결할 수 있습니다. 그리고 훈련이 불안정해요.

정규화 흐름은 전단사 함수를 통해 데이터를 사전 분포로 변환합니다. 이 접근 방식은 정규화 흐름의 표현 능력을 제한하여 적용 결과가 좋지 않습니다. 유추 확산 모델은 인코더에 노이즈를 추가하여 Normalizing 흐름의 표현 능력을 높일 수 있습니다. 또 다른 관점에서 보면 확산 모델을 앞으로의 과정에서도 학습할 수 있는 모델로 확장하는 것입니다.

• 자기회귀 모델은 데이터가 특정 구조를 가지고 있는지 확인해야 하기 때문에 자기회귀 모델을 설계하고 매개변수화하는 것이 매우 어렵습니다. 확산 모델의 훈련은 특정 훈련 방법을 통해 설계상의 어려움을 피하는 자기회귀 모델의 훈련에 영감을 주었습니다.
• 에너지 기반 모델은 원본 데이터의 분포를 직접 모델링하지만, 직접 모델링은 학습과 샘플링이 어렵습니다. 확산 회복 우도를 사용하면 모델은 먼저 샘플에 약간의 노이즈를 추가한 다음 약간의 노이즈가 있는 샘플 분포에서 원래 샘플의 분포를 추론할 수 있으므로 학습 및 샘플링 프로세스가 더 간단하고 안정적이게 됩니다.
7
• 확산 모델의 응용
이 섹션에서는 컴퓨터 비전, 자연어 처리, 파형 신호 처리, 다중 모드 학습, 분자 그래프 생성, 시계열 및 대결에서 확산 모델의 응용을 소개합니다. 학습 등 7가지 주요 응용방향에 대한 응용과 각 응용유형별 방법을 세분화하여 분석한다. 예를 들어 컴퓨터 비전에서는 이미지 완성 및 복구(RePaint)에 확산 모델을 사용할 수 있습니다.

다중 모드 작업에서는 확산 모델을 텍스트-이미지 생성(GLIDE)에 사용할 수 있습니다. ):

분자 그래프 생성에서 확산 모델을 사용하여 약물 분자 및 단백질 분자(GeoDiff)를 생성할 수도 있습니다.

응용 프로그램 분류 요약은 표에 나와 있습니다.

8 향후 연구 방향​

• 응용 가설 재테스트. 우리는 애플리케이션에서 일반적으로 받아들여지는 가정을 검토해야 합니다. 예를 들어, 실제로 확산 모델의 순방향 프로세스는 데이터를 표준 가우스 분포로 변환한다고 일반적으로 믿어지지만, 순방향 확산 단계가 많을수록 최종 샘플 분포가 표준 가우스 분포에 더 가까워집니다. 분포는 샘플링 프로세스와 일치하지만 더 많은 전방 확산 단계로 인해 분수 함수를 추정하기가 더 어려워집니다. 이론적인 조건을 얻기가 어렵기 때문에 이론과 실제의 불일치가 발생합니다. 우리는 이러한 상황을 인지하고 적절한 확산 모델을 설계해야 합니다.
• 이산시간에서 연속시간으로. 확산 모델의 유연성으로 인해 추가 분석을 통해 많은 경험적 방법을 향상시킬 수 있습니다. 이 연구 아이디어는 이산시간 모델을 해당 연속시간 모델로 변환한 다음 점점 더 나은 이산 방법을 설계함으로써 유망합니다.
• 신세대 프로세스. 확산 모델은 두 가지 주요 방법을 통해 샘플을 생성합니다. 하나는 역확산 SDE를 이산화한 다음 이산화된 역 SDE를 통해 샘플을 생성하는 것이고, 다른 하나는 역과정의 마르코프 속성을 사용하여 샘플의 노이즈를 점진적으로 제거하는 것입니다. 그러나 일부 작업의 경우 이러한 방법을 적용하여 실제로 샘플을 생성하는 것이 어렵습니다. 따라서 새로운 생성 과정과 관점에 대한 추가 연구가 필요합니다.
• 더 복잡한 시나리오와 더 많은 연구 분야로 일반화하세요. 확산 모델은 많은 시나리오에 적용되었지만 대부분은 단일 입력 및 단일 출력 시나리오로 제한됩니다. 앞으로는 텍스트-시청각 음성 합성과 같은 더 복잡한 시나리오에 적용하는 것을 고려할 수 있습니다. 더 많은 연구 분야와 결합하는 것도 고려할 수 있습니다.

위 내용은 최근 인기가 많은 확산모델, 확산세대 모델의 첫 리뷰!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!