UC Berkeley Google은 LLM을 혁신하고 터미널 확산 모델을 구현하며 이를 IGN에서 사용하여 한 번에 사실적인 이미지를 생성하는 미국 TV 시리즈가 영감의 원천이 되었습니다.

세계 절반에서 인기를 얻은 확산 모델이 제거되나요?

현재 GAN, 확산 모델 또는 일관성 모델과 같은 생성 AI 모델은 대상 데이터 분포에 해당하는 입력을 출력으로 매핑하여 이미지를 생성합니다.

일반적으로 다음과 같습니다. 모델은 많은 실제 그림을 학습해야 하며 생성된 그림의 실제 특징을 확인해야 합니다. 다시 작성해야 하는 내용은 다음과 같습니다.

최근 UC Berkeley와 Google의 연구원들은 새로운 세대를 제안했습니다. 모델 —— IGN(멱등 생성 네트워크)을 위해 다시 작성해야 하는 콘텐츠는 다음과 같습니다.

Pictures

Paper 주소: https://arxiv.org/abs/2311.01462

IGNs는 다음을 수행할 수 있습니다. 무작위 노이즈, 단순한 그래픽 등 다양한 입력 중에서 선택되어 다단계 반복 없이 단일 단계로 사실적인 이미지를 생성해야 합니다.

이 모델은 다음과 같습니다. 어떤 입력 데이터라도 대상 데이터 분포에 매핑할 수 있는 "글로벌 매퍼"(글로벌 매퍼) 프로젝터)를 목표로 합니다. 다시 작성해야 할 내용은 다음과 같습니다. 앞으로 이렇게 다시 작성해야 할 내용은 다음과 같습니다.

흥미롭습니다. "사인펠드"의 효율적인 장면이 작가에게 영감의 원천이 된 것으로 나타났습니다.

Picture

이 장면은 "멱등성 연산자"를 잘 요약한 것입니다.) 이 개념은 연산 과정에서 동일한 입력이 반복적으로 연산되어야 하며 결과가 항상 동일해야 한다는 의미입니다. 다시 작성해야 하는 내용:

즉,

picture

을 다시 작성해야 합니다. 다시 작성된 내용은 다음과 같습니다.

Jerry Seinfeld가 유머러스하게 지적했듯이 일부 실제 동작도 멱등적이라고 간주될 수 있습니다. 다시 작성된 내용은 다음과 같습니다.

Impotent Generative Networks

IGN with GAN과 확산 모델에는 두 가지 중요한 차이점이 있습니다.

- GAN과 달리 IGN은 별도의 생성자와 판별자가 필요하지 않습니다. 생성 및 판별 요구 사항을 동시에 완료하는 " 모델입니다. 다시 작성된 내용은 다음과 같습니다.

- 증분 단계를 수행하는 확산 모델과 달리 IGN은 단일 단계에서 입력을 데이터 분포에 매핑하려고 시도합니다. 다시 작성된 내용은 내용은 다음과 같습니다:

IGN(멱등성 생성 모델) 소스는 무엇인가요?

소스 분포에서 나오도록 훈련되었습니다.

입력 샘플의 목표 분포 를 고려하여 샘플을 생성하기 위해 다시 작성해야 하는 사항은 다음과 같습니다. 예제 데이터 세트

, 각 예는 둘 다 에서 가져왔습니다. 다시 작성해야 하는 내용은 다음과 같습니다. 그런 다음 연구원은 을 에 매핑하기 위해 모델 을 훈련했습니다. 다시 작성해야 하는 내용은 다음과 같습니다.

배포판 및 이 동일한 공간에 있다고 가정합니다. 즉, 해당 인스턴스의 크기가 동일하다고 가정합니다. 이렇게 하면 두 인스턴스 유형 모두에 을 적용할 수 있습니다. 다시 작성해야 하는 콘텐츠는 다음과 같습니다. 그림은 IGN의 기본 아이디어를 보여줍니다. 실제 예(x)는 모델 f에 변하지 않습니다.

다시 작성해야 하는 콘텐츠는 다음과 같습니다. 다른 입력(z)이 매핑됩니다. 최적화를 통해 f를 자체 인스턴스 스트림에 매핑하기 위해 다시 작성해야 하는 콘텐츠 는 다음과 같습니다.

Pictures

IGN 훈련 루틴 PyTorch 코드 예제의 일부 다시 작성해야 하는 콘텐츠는 다음과 같습니다.

Pictures

실험 결과

IGN을 얻은 후 효과는 무엇입니까?

저자는 현 단계에서 IGN으로 생성된 결과가 최신 모델과 경쟁할 수 없다는 점을 인정합니다. 다시 작성해야 할 사항은 다음과 같습니다.

실험에서는 더 작은 모델과 더 낮은 해상도를 사용했습니다. 데이터가 사용되었으며 탐색에서는 주로 다시 작성해야 하는 단순화된 방법에 중점을 둡니다.

물론 GAN 및 확산 모델과 같은 기본 생성 모델링 기술도 성숙에 도달하는 데 오랜 시간이 걸렸습니다. 성능을 위해 다시 작성해야 하는 것은 다음과 같습니다.

Experimental setup

연구원들은 각각 28×28과 64를 사용하여 MNIST(회색조 필기 숫자 데이터 세트)와 CelebA(얼굴 이미지 데이터 세트)에서 IGN을 평가했습니다. ×64 이미지 해상도를 위해 다시 작성해야 하는 콘텐츠는 다음과 같습니다.

저자는 간단한 자동 인코더 아키텍처를 사용합니다. 여기서 인코더는 DCGAN의 간단한 5계층 판별기 백본이고 디코더는 필요한 생성기입니다. 내용은 다음과 같습니다. 훈련 및 네트워크 하이퍼파라미터는 표 1과 같습니다. 다시 작성해야 하는 내용은 다음과 같습니다.

Pictures

Generation results

그림 4는 이후를 보여줍니다. 모델을 연속으로 한 번, 두 번 적용 두 데이터 세트의 정성적 결과는 다음과 같이 다시 작성되어야 합니다.

표시된 것처럼 IGN을 한 번(f(z)) 적용하면 일관된 생성 결과가 생성됩니다. , 아티팩트가 발생할 수 있습니다. MNIST 숫자의 구멍이나 얼굴 이미지의 머리 및 머리카락 상단의 왜곡된 픽셀과 같은 그림자를 다시 작성해야 합니다.

f(f(f(z)))를 다시 적용하면 수정할 수 있습니다. 이러한 문제를 해결하기 위해 구멍을 채우거나 얼굴 노이즈 패치 주변의 전체 변화를 줄이기 위해 다시 작성해야 할 사항은 다음과 같습니다.

그림

그림 7은 추가 결과와 f를 세 번 적용한 결과를 보여줍니다. 다시 작성해야 하는 내용:

Pictures

과 을 비교하면 이미지가 학습된 다양체에 가까울 때 f를 다시 적용하면 이미지가 분산된 것으로 간주되므로 변경이 최소화된다는 것을 알 수 있습니다.

잠재 공간 조작

저자는 GAN에 표시된 것과 유사한 작업을 수행하여 IGN이 일관된 잠재 공간을 가지고 있음을 증명합니다. 그림 6은 잠재 공간 알고리즘에 대해 다시 작성해야 하는 내용은 다음과 같습니다.

그림

Out-of-distribution mapping

저자는 또한 다양한 분포의 이미지를 모델에 입력하여 동등한 "자연 이미지"를 생성함으로써 IGN "글로벌 매핑"의 가능성을 검증했습니다. 다시 작성된 내용은 다음과 같습니다.

연구원들은 노이즈가 있는 이미지 x+n의 노이즈를 제거하고, 회색조 이미지에 색상을 입히고 스케치 를 그림 5의 실제 이미지로 변환하여 이를 시연했습니다. 다시 작성됨:

원본 이미지 x, 이러한 역 작업은 잘못된 포즈입니다. 다시 작성해야 할 사항: IGN은 원본 이미지 구조에 맞는 자연스러운 매핑을 생성할 수 있습니다. 그림에 표시된 대로 f를 적용하면 지속적으로 향상됩니다. 이미지 품질(예: 투영된 스케치에서 어둡고 연기가 나는 부분을 제거합니다.) 다시 작성해야 할 항목은 다음과 같습니다.

이미지

Google 다음은?

위 결과에서 볼 수 있듯이 IGN은 추론에 더 효과적이며 훈련 후 한 단계만으로 결과를 생성할 수 있습니다. 다시 작성해야 할 것은 다음과 같습니다.

또한 IGN은 보다 일관된 결과를 출력할 수 있습니다. 5월 의료 이미지 복구와 같은 더 많은 응용 프로그램으로 확장되어 다시 작성되어야 하는 내용은 다음과 같습니다.

논문의 저자는 다음과 같이 말했습니다.

우리는 이 작업이 모든 입력이 대상 분포에 매핑됩니다. 이는 생성 모델링의 새로운 패러다임입니다. 다시 작성해야 할 사항은 다음과 같습니다.

다음으로 연구팀은 IGN의 규모를 확장하기 위해 더 많은 데이터를 사용할 계획입니다. 새로운 생성 공식을 채굴하기 위해 AI 모델의 잠재력을 최대한 활용하기 위해 다시 작성해야 하는 콘텐츠는 다음과 같습니다.

향후 GitHub에 공개될 최신 연구 코드, 다시 작성됨:

참조:

https:// www.php.cn/link/2bd388f731f26312bfc0fe30da009595

https://www.php.cn/link/e 1e4e65fddf79af60aab04457a6565a6

위 내용은 UC Berkeley Google은 LLM을 혁신하고 터미널 확산 모델을 구현하며 이를 IGN에서 사용하여 한 번에 사실적인 이미지를 생성하는 미국 TV 시리즈가 영감의 원천이 되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!