He Kaiming과 Xie Saining 팀은 해체 확산 모델 탐색을 성공적으로 수행하여 마침내 높은 평가를 받는 잡음 제거 자동 인코더를 만들었습니다.

DDM(Denoising Diffusion Model)은 현재 이미지 생성에 널리 사용되는 방법입니다. 최근 Xinlei Chen, Zhuang Liu, Xie Saining 및 He Kaiming으로 구성된 4인 팀이 DDM에 대한 해체 연구를 수행했습니다. 점차적으로 구성 요소를 제거함으로써 DDM의 생성 능력은 점차 감소하지만 표현 학습 능력은 여전히 ​​일정 수준을 유지한다는 것을 발견했습니다. 이는 DDM의 일부 구성 요소가 표현 학습에 중요하지 않을 수 있음을 보여줍니다.

컴퓨터 비전과 같은 분야의 현재 생성 모델에서는 노이즈 제거가 핵심 방법으로 간주됩니다. 이러한 유형의 방법을 DDM(잡음 제거 확산 모델)이라고 부르며, DAE(잡음 제거 자동 인코더)를 학습하면 확산 프로세스를 통해 여러 수준의 잡음을 효과적으로 제거할 수 있습니다.

이러한 방법은 뛰어난 이미지 생성 품질을 달성하며 특히 사진과 같은 고해상도의 시뮬레이션된 실제 이미지를 생성하는 데 적합합니다. 이러한 생성 모델의 성능은 매우 우수하여 강력한 인식 기능과 생성된 시각적 콘텐츠를 이해하는 능력을 갖추고 있다고 거의 간주할 수 있습니다.

DAE가 현재 생성 모델의 핵심이지만, 가장 초기 논문인 "Denoising Autoencoders를 사용하여 강력한 기능 추출 및 구성"은 지도 방법을 통해 데이터 표현을 학습하는 것입니다. 본 논문에서는 강인한 특징을 추출하고 결합할 수 있는 방법을 제안한다. 자동 인코더 제거를 통해 입력 데이터의 유용한 표현을 학습하여 지도 학습 작업의 성능을 향상시키는 것을 목표로 합니다. 이 접근 방식의 성공적인 적용은 생성 모델에서 DAE의 중요성을 보여줍니다.

현재 표현 학습 커뮤니티에서는 언어에서 누락된 텍스트(예: BERT) 또는 이미지에서 누락된 타일을 예측하는 등 "마스크 노이즈"를 기반으로 한 변형이 가장 성공적인 DAE로 간주됩니다.

마스크 기반 변형은 알려지지 않은 것과 알려진 것을 명시적으로 지정하지만 부가적인 노이즈를 제거하는 작업과는 크게 다릅니다. 추가 노이즈를 격리하는 작업에서는 처리를 안내하는 데 사용할 수 있는 명시적인 정보가 없습니다. 그러나 생성 작업을 위한 현재 DDM은 주로 추가 노이즈를 기반으로 합니다. 이는 표현을 학습할 때 알려지지 않은 콘텐츠와 알려진 콘텐츠가 명시적으로 레이블이 지정되지 않을 수 있음을 의미합니다. 따라서 이러한 차이로 인해 마스크 기반 변형이 추가 노이즈 처리 시 다른 효과를 나타낼 수 있습니다.

최근 DDM(Deep Denoising Model)의 표현 학습 기능에 대한 연구가 늘어나고 있습니다. 이러한 연구에서는 사전 훈련된 DDM 모델(원래 생성 작업에 사용됨)을 직접 채택하고 인식 작업에서 표현 품질을 평가합니다. 이러한 생성 중심 모델의 적용은 흥미로운 결과를 가져왔습니다.

그러나 이러한 선구적인 연구는 해결되지 않은 몇 가지 문제도 노출했습니다. 이러한 기존 모델은 인식 작업이 아닌 생성 작업을 위해 설계되었으므로 표현 능력이 노이즈 제거 또는 확산에 의해 구동되는지 여부를 판단할 수 없습니다.

Xinlei Chen 외 연구진의 이 연구는 이 연구 방향에서 큰 진전을 이루었습니다.

• 논문 제목: Deconstructing Denoising Diffusion Models for Self-Supervised Learning

• 논문 주소: https://arxiv.org/pdf/2401.14404.pdf

그들은 기존 지향적인 방식을 사용하지 않았습니다. 생성된 DDM은 대신 인식 지향 모델을 교육합니다. 이 연구의 핵심 아이디어는 DDM을 해체하고 클래식 DAE가 될 때까지 단계별로 수정하는 것입니다.

이 해체적 연구 과정을 통해 그들은 학습 표현 목표 측면에서 현대 DDM의 모든 측면을 주의 깊게 탐구했습니다. 연구 과정을 통해 AI 커뮤니티는 DAE가 좋은 표현을 학습하는 데 필요한 핵심 구성 요소가 무엇인지에 대한 새로운 이해를 얻었습니다.

놀랍게도 그들은 주요 핵심 구성 요소가 저차원 잠재 공간을 생성하는 기능을 하는 토크나이저라는 것을 발견했습니다. 흥미롭게도 이 관찰은 특정 토크나이저와 크게 독립적입니다. 표준 VAE, 타일 수준 VAE, 타일 수준 AE, 타일 수준 PCA 인코더를 탐색했습니다. 그들은 DAE를 잘 표현하는 것은 특정 토크나이저가 아니라 저차원 잠재 공간이라는 것을 발견했습니다.

PCA의 효율성 덕분에 팀은 PCA를 완전히 분해하여 마침내 기존 DAE와 매우 유사한 간단한 아키텍처를 얻었습니다(그림 1 참조).

타일 수준 PCA를 사용하여 이미지를 잠재 공간에 투영하고 노이즈를 추가한 다음 역 PCA를 통해 다시 투영합니다. 그런 다음 오토인코더는 잡음이 제거된 이미지를 예측하도록 훈련됩니다.

이 아키텍처를 잠재 잡음 제거 자동 인코더인 l-DAE(잠재 잡음 제거 자동 인코더)라고 부릅니다.

팀의 해체 과정에서는 DDM과 클래식 DAE 사이의 다른 흥미로운 속성도 많이 드러났습니다.

예를 들어 단일 소음 수준(예: DDM 없는 소음 스케줄링)에서도 l-DAE를 사용하면 좋은 결과를 얻을 수 있다는 사실을 발견했습니다. 다중 레벨 노이즈를 사용하는 것은 일종의 데이터 확대와 같은 역할을 하며 이는 유익할 수 있지만 기여 요인은 아닙니다.

이러한 관찰을 바탕으로 팀은 DDM의 특성화 기능이 확산 중심 프로세스가 아닌 잡음 제거 중심 프로세스를 통해 주로 얻어지는 것이라고 믿습니다.

마지막으로 팀에서는 결과를 이전 벤치마크와도 비교했습니다. 한편으로 새로운 결과는 이전에 사용 가능한 방법보다 더 낫습니다. 이는 해당 모델이 해체 프로세스의 출발점이었기 때문에 예상된 것입니다. 반면, 새로운 아키텍처의 결과는 기본 대비 학습 방법 및 마스크 기반 방법만큼 좋지는 않지만 격차가 조금 줄어듭니다. 이는 또한 DAE와 DDM의 연구 방향에 대한 추가 연구의 여지가 있음을 보여줍니다.

배경: 소음 제거 확산 모델

이 해체 연구의 출발점은 소음 제거 확산 모델(DDM)입니다.

DDM에 대해서는 "Diffusion models beat GANs on image 종합" 및 "Scalable Diffusion Models with Transformers" 논문과 본 사이트의 관련 보고서 "U-Net, which dominate the 확산 모델, 대체될 예정입니다. Xie Saining et al. Transformer를 소개하고 DiT를 제안합니다》.

Deconstructing the denoising 확산 모델

여기서 우리가 중점을 두는 것은 해체 과정입니다. 이 과정은 세 단계로 나뉩니다. 첫 번째는 DiT의 세대 중심 설정을 자기주도 학습에 더 적합한 설정으로 변경하는 것입니다. 다음으로 토크나이저를 점진적으로 분해하고 단순화해 보겠습니다. 마지막으로 그들은 모델을 기존 DAE에 더 가깝게 만들기 위해 가능한 한 많은 DDM 기반 설계를 리버스 엔지니어링하려고 했습니다.

DDM을 자기 지도 학습으로 리디렉션

개념적으로 DDM은 DAE의 한 형태이지만 원래는 이미지 생성 작업을 위해 개발되었습니다. DDM의 많은 디자인은 생성 작업에 맞춰져 있습니다. 일부 디자인은 본질적으로 자기 지도 학습에 적합하지 않습니다(예: 카테고리 라벨 포함). 시각적 품질을 고려하지 않는 경우에는 필요하지 않은 디자인도 있습니다.

이 섹션에서 팀은 DDM의 목적을 자기 지도 학습으로 조정합니다. 표 1은 이 단계의 진행을 보여줍니다.

범주 조건 제거

첫 번째 단계는 기준 모델에서 범주 조건 지정 프로세스를 제거하는 것입니다.

예기치 않게 카테고리 조건을 제거하면 선형 프로브 정확도가 크게 향상되지만(57.5%에서 62.1%로) 생성 품질은 예상대로 크게 떨어집니다(FID가 11.6에서 34.2로).

팀은 카테고리 라벨에 대해 직접 모델을 조정하면 카테고리 라벨에 대한 정보를 인코딩해야 하는 모델의 필요성이 줄어들 수 있다는 가설을 세웠습니다. 카테고리 조건화를 제거하면 모델이 더 많은 의미를 배우게 됩니다

VQGAN 분해

DiT LDM에서 상속된 VQGAN 토크나이저의 훈련 프로세스는 여러 손실 용어를 사용합니다: 자동 인코딩 재구성 손실, KL 발산 정규화 손실, 감독된 VGG를 기반으로 한 지각 손실 ImageNet 분류를 위해 훈련된 네트워크, 판별자를 사용한 적대적 손실. 팀은 후자의 두 손실에 대한 절제 연구를 수행했습니다(표 1 참조).

물론 두 손실을 제거하면 생성 품질에 영향을 주지만 선형 탐지 정확도 지수에서는 지각 손실을 제거하면 62.5%에서 58.4%로 떨어지고, 적대 손실을 제거하면 58.4%에서 58.4%로 상승합니다. 59.0%. 적대적 손실을 제거한 후 토크나이저는 본질적으로 VAE입니다.

노이즈 스케줄링 대체

팀에서는 자기 지도 학습을 지원하기 위해 더 간단한 노이즈 스케줄링 방식을 연구했습니다.

구체적으로 신호 스케일링 계수 γ^2_t가 1>γ^2_t≥0 범위에서 선형적으로 감쇠되도록 합니다. 이를 통해 모델은 더 선명한 이미지에 더 많은 힘을 쏟을 수 있습니다. 이는 선형 감지 정확도를 59.0%에서 63.4%로 크게 향상시킵니다.

토큰나이저 분해

다음으로, 많은 단순화를 통해 VAE 토크나이저를 분해합니다. 그들은 오토인코더의 네 가지 변형을 토크나이저로 비교했는데, 각각은 이전 버전의 단순화된 버전입니다.

• 콘볼루션 VAE: 이는 이전 분해 단계의 결과입니다. 일반적인 경우는 다음과 같습니다. 인코더와 디코더는 다음과 같습니다. 깊은 컨벌루션 신경망.

• 타일 수준 VAE: 입력을 타일로 변환합니다.

• 타일 수준 AE: VAE의 정규화 항이 제거되어 VAE가 본질적으로 AE가 되고 해당 인코더와 디코더는 모두 선형 투영입니다.

• 타일 수준 PCA: 타일 공간에서 주성분 분석(PCA)을 수행하는 더 간단한 변형입니다. PCA가 AE의 특별한 경우와 동일하다는 것을 쉽게 알 수 있습니다.

타일 작업이 간단하기 때문에 팀은 타일 공간에서 세 개의 타일 수준 토크나이저의 필터를 시각화했습니다(그림 4 참조).

표 2에는 이러한 4가지 토크나이저 변형을 사용할 때 DiT의 선형 감지 정확도가 요약되어 있습니다.

그들은 다음과 같은 결과를 관찰했습니다.

• DDM이 자기 지도 학습을 잘 수행하려면 토크나이저의 암시적 차원이 중요합니다.

• 자기 지도 학습의 경우 고해상도 픽셀 기반 DDM의 성능이 좋지 않습니다(그림 5 참조).

고전적인 잡음 제거 자동 인코더가 되기

해체의 다음 목표 목표는 모델을 만드는 것입니다. 이는 기존 PCA 기반 DDM을 기존 DAE와 다르게 만드는 모든 측면을 가능한 한 가깝게 제거하는 것입니다. 결과는 표 3에 나와 있습니다.

최신 DDM은 일반적으로 소음을 예측하지만 DAE는 손실 함수를 조정하여 더 명확한 데이터의 손실 기간에 더 많은 가중치를 부여하는 방식으로 예측합니다.

이 수정으로 인해 선형 감지 정확도가 65.1%에서 62.4%로 떨어졌습니다.

입력 스케일 제거

최신 DDM에서는 입력에 스케일링 계수 γ_t가 있지만 이는 기존 DAE에서는 자주 수행되지 않습니다.

γ_t ñ 1을 설정하여 팀은 발견했습니다. 이는 γ_t 변수(62.4%)를 사용한 모델보다 나은 63.6%의 정확도를 달성했다는 것입니다(표 3 참조). 이는 현재 시나리오에서 입력의 정확도가 완전히 불필요하다는 것을 보여줍니다.

역 PCA를 사용하여 이미지 공간에서 작업

이전에 탐색한 모든 항목(그림 5 제외)에 대해 모델은 토크나이저에 의해 생성된 암시적 공간에서 실행되었습니다(이상적으로는 그림 2(b)). 팀에서는 PCA를 사용하므로 이를 달성하기 위해 역PCA를 사용할 수 있다는 사실을 발견했습니다.

이를 수정하면 됩니다. 입력 측(여전히 암시적 공간에서 출력을 예측)에서는 63.6%의 정확도를 얻을 수 있으며(표 3) 이를 출력 측에 추가로 적용하면(즉, 역 PCA를 사용하여 이미지 공간에서 출력을 예측하면 63.9의 정확도가 됩니다. %. 두 결과 모두 역 PCA를 사용하여 이미지 공간에서 얻은 결과가 잠재 공간에서 예측한 결과와 유사하다는 것을 보여줍니다.

역 PCA는 이미지 공간에서 예측된 목표를 얻을 수 있지만 목표는 원본 이미지가 아닙니다. 이는 PCA가 축소된 차원 d에 대한 손실 인코더이기 때문입니다. 더 자연스러운 해결책은 원본 이미지를 직접 예측하는 것입니다.

네트워크가 원본 이미지를 예측하도록 요청하면 도입되는 "노이즈"는 두 부분으로 구성됩니다. 가우스 잡음(고유 차원은 d) 및 PCA 재구성 오류(고유 차원은 d) 팀의 접근 방식은 팀의 설계를 통해 두 부분에 개별적으로 가중치를 부여하는 것입니다. 64.5%의 선형 감지 정확도로 예측할 수 있습니다. 볼륨은 개념적으로 매우 간단합니다. 입력은 노이즈가 PCA 암시적 공간에 추가되는 이미지이고 예측은 원래의 깨끗한 이미지입니다(그림 1).

단일 소음 수준

마지막으로 호기심에 힘입어 팀에서는 단일 소음 수준의 변형 작업도 수행했습니다. 그들은 잡음 스케줄링을 통해 달성되는 다단계 잡음이 DDM 확산 과정의 특성임을 지적했습니다. 기존 DAE에는 개념적으로 반드시 다중 레벨 노이즈가 필요하지 않습니다.

소음 수준 σ를 상수 √(1/3)으로 고정했습니다. 이 단일 레벨 노이즈를 사용한 모델의 정확도는 61.5%로 상당히 향상되었습니다. 이는 다중 레벨 노이즈로 달성한 64.5%에 비해 3% 포인트만 향상되었습니다.

다중 레벨 노이즈를 사용하는 것은 DAE의 데이터 증대 형태와 유사합니다. 이점이 있지만 활성화하는 것은 아닙니다. 이는 또한 DDM의 표현력이 주로 확산 중심 프로세스가 아닌 노이즈 제거 중심 프로세스에서 나온다는 것을 의미합니다.

요약

요약하자면 팀은 최신 DDM을 해체하여 클래식 DAE로 전환했습니다.

그들은 현대적인 디자인을 많이 제거하고 현대 DDM에서 물려받은 두 가지 디자인, 즉 저차원 암시적 공간(노이즈가 추가되는 곳)과 다중 레벨 노이즈만 개념적으로 유지했습니다.

표 3의 마지막 항목을 최종 DAE 인스턴스로 사용합니다(그림 1 참조). 그들은 이 방법을 잠재성 잡음 제거 자동 인코더(latent denoising autoencoder)라고 부르며 약어로 l-DAE로 사용합니다. ​ ​

분석 및 비교

Visualizing Implicit Noise

개념적으로 l-DAE는 암시적 공간에 추가된 노이즈를 제거하는 방법을 학습하는 DAE의 한 형태입니다. PCA는 단순하기 때문에 역PCA에 내재된 노이즈를 쉽게 시각화할 수 있습니다.

그림 7은 픽셀에 추가된 노이즈와 잠재 공간에 추가된 노이즈를 비교합니다. 픽셀 노이즈와 달리 암시적 노이즈는 이미지의 해상도와 크게 무관합니다. 타일 ​​수준 PCA를 토크나이저로 사용하는 경우 암시적 노이즈의 패턴은 주로 타일 크기에 따라 결정됩니다.

노이징 결과

그림 8은 l-DAE를 기반으로 한 노이즈 제거 결과의 더 많은 예를 보여줍니다. 새로운 방법은 노이즈가 두꺼워도 더 좋은 예측 결과를 얻을 수 있음을 알 수 있다.

데이터 확대

여기에 제시된 모델 중 어느 것도 데이터 확대를 사용하지 않는다는 점에 유의해야 합니다. 이미지 중앙 영역 자르기만 사용되며 임의 크기 조정이나 색상 디더링은 사용되지 않습니다. 팀은 최종 l-DAE에 대해 추가 연구를 수행하고 가벼운 데이터 확대를 사용하여 테스트했습니다.

결과가 약간 개선되었습니다. 이는 l-DAE의 표현 학습 기능이 데이터 증대와 크게 독립적임을 시사합니다. MAE에서도 유사한 동작이 관찰되었습니다. He Kaiming 외의 논문 "마스크된 자동 인코더는 확장 가능한 비전 학습자입니다"를 참조하세요. 이는 대조 학습 방법과 상당히 다릅니다.

Training Epoch

이전의 모든 실험은 400번의 Epoch 훈련을 기반으로 했습니다. MAE의 설계에 따라 팀은 800 및 1600 에포크의 훈련도 연구했습니다.

반대로 에포크 번호가 400에서 800으로 증가했을 때 MAE는 상당한 이득(4%)을 얻었지만 MoCo v3. 에포크 수가 300에서 600으로 증가하면 거의 이득(0.2%)이 없습니다.

모델 크기

이전 모델은 모두 DiT-L 변형을 기반으로 했으며, 인코더와 디코더는 ViT-1/2L(ViT-L 깊이의 절반)이었습니다. 팀은 ViT-B 또는 ViT-L인 인코더를 사용하여 다양한 크기의 모델을 추가로 훈련했습니다(디코더는 항상 인코더와 크기가 동일함).

볼 수 있는 내용: 모델 크기가 ViT-B에서 변경되는 경우 ViT-L로 확대하면 10.6%라는 엄청난 이득을 얻을 수 있다.

이전 기준 모델 비교

마지막으로 다양한 유형의 자기주도 학습 방법의 효과를 더 잘 이해하기 위해 비교를 실시했으며 그 결과는 표 4에 나와 있습니다.

흥미롭게도 l-DAE는 MAE에 비해 1.4%(ViT-B) 또는 0.8%(ViT-L) 하락에 불과하여 합리적으로 좋은 성능을 발휘합니다. 반면에 팀은 MAE가 마스크되지 않은 타일만 처리하기 때문에 훈련에 더 효율적이라는 점에도 주목했습니다. 그럼에도 불구하고 MAE와 DAE 기반 방법 간의 정확도 차이는 크게 줄었습니다.

마지막으로, 특히 모델이 작은 경우 자동 인코더 기반 방법(MAE 및 l-DAE)이 이 프로토콜의 대조 학습 방법에 비해 여전히 단점이 있다는 점도 관찰했습니다. 그들은 마지막으로 “우리의 연구가 오토인코더 기반 방법을 활용한 자기 지도 학습 연구로 더 많은 관심을 끌기를 바란다”고 말했다.

위 내용은 He Kaiming과 Xie Saining 팀은 해체 확산 모델 탐색을 성공적으로 수행하여 마침내 높은 평가를 받는 잡음 제거 자동 인코더를 만들었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!