He Kaiming은 MIT와 협력: 간단한 프레임워크로 무조건적인 이미지 생성 분야에서 최신 혁신을 달성했습니다.

대장님 He Yuming은 아직 공식적으로 MIT에 합류하지는 않았지만 MIT와의 첫 번째 공동 연구가 나왔습니다.

그는 RCG라고 불리는 자체 조건부 이미지 생성 프레임워크를 MIT 교사 및 학생들과 함께 개발했습니다( 코드는 오픈 소스였습니다) .

이 프레임워크의 구조는 매우 간단하지만 효과는 뛰어납니다. ImageNet-1K 데이터 세트에 무조건 이미지 생성의 새로운 SOTA를 직접 구현합니다.

생성되는 이미지에는 사람이 추가하는 주석(즉, 프롬프트 단어, 클래스 레이블 등)이 필요하지 않으며 충실도와 다양성을 모두 얻을 수 있습니다.

이런 방식으로 무조건 이미지 생성 수준을 크게 향상시킬 뿐만 아니라 현재 최고의 조건부 생성 방법과도 경쟁할 수 있습니다.

He Yuming 팀의 말:

조건부 생성 작업과 무조건 생성 작업 사이의 오랜 성능 격차가 마침내 이 순간에 연결되었습니다.

그럼 정확히 어떻게 이루어지나요?

자기 지도 학습과 유사한 자기 조건 생성

우선, 소위 무조건 생성이란 입력 신호의 도움 없이 모델이 데이터 분포 생성 내용을 직접 캡처하는 것을 의미합니다.

이러한 훈련 방식은 어렵기 때문에 조건부 생성에는 항상 큰 성능 격차가 있었습니다. 비지도 학습이 지도 학습과 비교할 수 없는 것처럼

자기 지도 학습이 등장한 것처럼 이러한 상황도 바뀌었습니다

무조건 이미지 생성 분야에는 자기 지도 학습의 개념과 유사한 자기 조건 생성 방식도 있습니다.

노이즈 분포를 단순히 이미지 분포에 매핑하는 전통적인 무조건 생성과 비교하여 이 방법은 주로 데이터 분포 자체에서 파생된 표현 분포에 픽셀 생성 프로세스를 설정합니다.

조건부 이미지 생성을 넘어 분자 설계나 신약 발견과 같이 사람의 주석이 필요하지 않은 응용 분야의 개발을 촉진할 것으로 예상됩니다(이것이 조건부 이미지 생성이 이렇게 잘 발전하고 있는 이유이기도 합니다. 무조건 세대에게 ).

이제 이러한 자기 조건적 생성 개념을 기반으로 He Kaiming 팀은 먼저 표상 확산 모델 RDM을 개발했습니다.

자기 감독 이미지 인코더를 통해 이미지에서 가로채며, 주로 저차원 자기 감독 이미지 표현을 생성하는 데 사용됩니다.

핵심 아키텍처는 다음과 같습니다.

첫 번째는 다음을 담당하는 입력 레이어입니다. 표현을 은닉 차원 C로 투영한 다음 N개의 완전히 연결된 블록, 그리고 마지막으로 은닉 계층의 잠재 기능을 원래 표현 차원으로 재투영 (변환) 하는 출력 계층이 옵니다.

각 레이어에는 LayerNorm 레이어, SiLU 레이어 및 선형 레이어가 포함되어 있습니다.

이러한 RDM에는 두 가지 장점이 있습니다.

다양성이 강한 것이 특징 중 하나이고, 계산 오버헤드가 적다는 것이 특징입니다

이후 팀은 RDM의 도움으로 오늘의 주인공을 제안했습니다. : 조건부 이미지 생성 아키텍처 RCG를 나타냅니다.

세 가지 구성 요소 로 구성된 간단한 자체 조건부 생성 프레임워크입니다.

하나는 SSL 이미지 인코더 로, 이미지 배포를 다음으로 변환하는 데 사용됩니다. 콤팩트는 배포를 나타냅니다.

하나는 이 분포를 모델링하고 샘플링하는 데 사용되는 RDM입니다.

마지막은 표현에 따라 이미지를 처리하는 데 사용되는 픽셀 생성기 MAGE입니다.

MAGE는 토큰화된 이미지에 무작위 마스크를 추가하고 네트워크에 동일한 이미지에서 추출된 표현을 조건으로 누락된 토큰을 재구성하도록 요청하는 방식으로 작동합니다.

테스트 후 최종 결과는 이 자체 조건부 생성 프레임워크의 구조는 간단하지만 그 효과는 매우 좋습니다. ImageNet 256×256에서 RCG는

3.56의 FID와 186.9(Inception Score)의 IS를 달성했습니다. 이에 비해 이전 가장 강력한 무조건 생성 방법은 FID 점수가 7.04, IS 점수가 123.5입니다.

RCG의 경우 조건부 생성에서 좋은 성능을 발휘할 뿐만 아니라 이 분야의 벤치마크 모델과 동일한 수준 또는 심지어 초과하는 성능을 발휘합니다.

마지막으로 분류자 지침 없이도 RCG의 성능은 여전히 ​​3.31(FID)으로 더욱 향상될 수 있습니다. 그리고 253.4(IS).

팀은 다음과 같이 표현했습니다.

이러한 결과는 조건부 이미지 생성 모델이 큰 잠재력을 갖고 있으며 이 분야의 새로운 시대를 예고할 수 있음을 보여줍니다.

팀 소개

이 문서의 저자는 3명입니다:

One. 저자 그는 MIT에서 박사 과정을 밟고 있는 Li Tianhong입니다. 그는 칭화대학교 야오 클래스에서 학부 학위를 취득했습니다. 그의 연구 방향은 교차 모드 통합 감지 기술입니다. 그의 개인 홈페이지는 매우 흥미롭고, 그는 또한 요리법 컬렉션을 가지고 있습니다. 그는 연구와 요리에 가장 열정을 쏟고 있습니다.

다른 저자는 MIT 전자공학 및 컴퓨터 과학과 출신입니다.

(EECS) MIT 무선 네트워크 및 모바일 컴퓨팅 센터 소장인 Dina Katabi 교수가 올해 슬론상 수상자로 미국 국립과학원 원사로 선출되었습니다.

드디어 교신저자는 허밍밍(He Mingming)입니다. 그는 내년에 공식적으로 학계로 복귀하고 메타를 떠나 MIT 전기공학 및 컴퓨터과학과에 합류해 디나 카타비(Dina Katabi)와 동료가 될 예정입니다.

논문을 보려면 다음 링크를 클릭하세요: https://arxiv.org/abs/2312.03701

위 내용은 He Kaiming은 MIT와 협력: 간단한 프레임워크로 무조건적인 이미지 생성 분야에서 최신 혁신을 달성했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!