GPT-3와 Stable Diffusion은 함께 작동하여 모델이 Party A의 이미지 리터칭 요구 사항을 이해하도록 돕습니다.

확산 모델이 인기를 얻은 이후 많은 사람들이 원하는 이미지를 생성하기 위해 보다 효과적인 프롬프트를 사용하는 방법에 집중했습니다. 일부 AI 그림 모델의 지속적인 시도에서 사람들은 AI 그림 그림을 잘 만들기 위한 키워드 경험을 다음과 같이 요약하기도 했습니다.

즉 올바른 AI 기술을 익히면 그림의 품질이 효과는 매우 분명할 것입니다(참조: "​​"농구하는 알파카"를 그리는 방법? 누군가 DALL·E 2의 진정한 실력을 보여주기 위해 13달러를 썼습니다​​").

또한 일부 연구자들은 단 몇 마디만으로 그림을 우리가 원하는 대로 바꾸는 방법이라는 또 다른 방향으로 연구하고 있습니다.

얼마 전 Google Research 및 기타 기관​​에서 진행한 연구​​에 대해 보고했습니다. 원하는 사진이 무엇인지 말하면 기본적으로 요구 사항이 충족되고 강아지를 앉히는 것과 같은 사실적인 이미지가 생성됩니다.

다음은 모델에 대한 입력입니다. 설명은 "a 개가 앉아 있다'라고 말하지만, 사람들의 일상적인 의사소통 습관에 따르면 가장 자연스러운 설명은 '이 개를 앉게 놔두세요'입니다. 일부 연구자들은 이것이 최적화되어야 하는 문제이며 모델이 인간의 언어 습관과 더 일치해야 한다고 믿습니다.

최근 UC Berkeley 연구팀은 인간의 지시를 기반으로 이미지를 편집하는 새로운 방법인 InstructPix2Pix를 제안했습니다. 입력 이미지와 모델에 무엇을 해야 하는지 알려주는 텍스트 설명이 주어지면 모델은 설명 지침에 따라 다음 작업을 수행할 수 있습니다. 이미지를 편집하세요.

문서 주소: https://arxiv.org/pdf/2211.09800.pdf

예를 들어 그림 속 해바라기를 장미로 바꾸려면 "Put"이라고 직접 말하면 됩니다. "장미로 대체된 해바라기 모델":

교육 데이터를 얻기 위해 연구에서는 두 가지 대규모 사전 교육 모델, 즉 언어 모델(GPT-3)과 텍스트-이미지 생성을 결합했습니다. 모델(Stable Diffusion)을 사용하여 이미지 편집 예제의 대규모 쌍별 학습 데이터 세트를 생성합니다. 연구원들은 이 대규모 데이터세트에 대해 새로운 모델인 InstructPix2Pix를 훈련하고 추론 시 실제 이미지와 사용자가 작성한 지침으로 일반화했습니다.

InstructPix2Pix는 입력 이미지와 이미지 편집을 위한 텍스트 명령이 주어지면 편집된 이미지를 생성하는 조건부 확산 모델입니다. 모델은 정방향 패스에서 직접 이미지 편집을 수행하며 추가 예시 이미지, 입력/출력 이미지에 대한 전체 설명 또는 각 예시의 미세 조정이 필요하지 않으므로 모델은 단 몇 초 만에 이미지를 빠르게 편집할 수 있습니다.

InstructPix2Pix는 합성 예제(예: GPT-3에서 생성된 텍스트 설명 및 Stable Diffusion에서 생성된 이미지)에 대해 전적으로 학습되었지만 이 모델은 임의의 실제 이미지와 사람이 작성한 텍스트에 대한 제로샷 일반화를 달성합니다. 모형은 객체 교체, 이미지 스타일 변경 등을 포함한 직관적인 이미지 편집을 지원합니다.

방법 개요

연구원들은 지침 기반 이미지 편집을 지도 학습 문제로 처리했습니다. 먼저 텍스트 편집 지침과 편집 전후의 이미지가 포함된 쌍을 이루는 훈련 데이터 세트를 생성했습니다(그림 2a-c). 그런 다음 이미지 편집 이 생성된 데이터 세트에 대해 확산 모델이 훈련되었습니다(그림 2d). 생성된 이미지와 편집 지침을 사용하여 학습했지만 모델은 여전히 ​​사람이 작성한 임의의 지침을 사용하여 실제 이미지를 편집할 수 있습니다. 아래 그림 2는 방법의 개요입니다.

다중 모드 훈련 데이터 세트 생성​

데이터 세트 생성 단계에서 연구원들은 대규모 언어 모델(GPT-3)과 텍스트-이미지 모델( Stable Diffusion(안정 확산) 기능, 텍스트 편집 지침과 편집 전후의 해당 이미지가 포함된 다중 모드 훈련 데이터 세트가 생성되었습니다. 이 프로세스는 다음 단계로 구성됩니다.

• GPT-3를 미세 조정하여 텍스트 편집 콘텐츠 모음 생성: 이미지를 설명하는 프롬프트가 제공되면 수행할 변경 사항을 설명하는 텍스트 지침과 이미지를 설명하는 프롬프트를 생성합니다. 변경된 이미지(그림 2a)
• 는 텍스트-이미지 모델을 사용하여 두 개의 텍스트 프롬프트(즉, 편집 전과 편집 후)를 해당 이미지 쌍으로 변환합니다(그림 2b). 연구원들은 생성된 훈련 데이터를 사용하여 서면 지침에 따라 이미지를 편집할 수 있는 Stable Diffusion 모델을 기반으로 조건부 확산 모델을 훈련했습니다.

확산 모델은 데이터 분포의 비율(고밀도 데이터 방향을 가리킴)을 추정하는 일련의 노이즈 제거 자동 인코더를 통해 데이터 샘플을 생성하는 방법을 학습합니다. 잠재 확산은 인코더 및 디코더

를 사용하여 사전 훈련된 Variational Autoencoder의 잠재 공간에서 작동함으로써 확산 모델의 효율성과 품질을 향상시킵니다.

이미지 x의 경우 확산 프로세스는 인코딩된 잠재 에 노이즈를 추가하며, 이는 시간 간격 t∈T에 따라 노이즈 수준이 증가하는 시끄러운 잠재 z_t를 생성합니다. 우리는 이미지 컨디셔닝 C_I와 텍스트 명령어 컨디셔닝 C_T가 주어지면 시끄러운 잠재성 z_t에 추가되는 노이즈를 예측하는 네트워크를 학습합니다. 연구원들은 다음과 같은 잠재 확산 목표를 최소화했습니다.

이전의 연구(Wang et al.)에서는 이미지 변환 작업의 경우, 특히 쌍을 이루는 훈련 데이터가 제한적일 때 미세 조정된 대형 이미지 확산 모델이 훈련보다 성능이 뛰어난 것으로 나타났습니다. 처음부터. 따라서 새로운 연구에서 저자는 사전 훈련된 Stable Diffusion 체크포인트를 사용하여 모델의 가중치를 초기화하고 강력한 텍스트-이미지 생성 기능을 활용합니다. 이미지 조절을 지원하기 위해 연구원들은 z_t와

를 연결하는 첫 번째 컨볼루셔널 레이어에 추가 입력 채널을 추가했습니다. 확산 모델의 사용 가능한 모든 가중치는 사전 훈련된 체크포인트에서 초기화되고, 새로 추가된 입력 채널에서 작동하는 가중치는 0으로 초기화됩니다. 여기서 저자는 텍스트 편집 명령 c_T를 입력으로 사용하지 않고 원래 캡션에 사용된 것과 동일한 텍스트 조정 메커니즘을 재사용합니다.

실험 결과

아래 그림에서 저자는 새로운 모델의 이미지 편집 결과를 보여줍니다. 이 결과는 실제 사진과 예술작품의 다른 세트에 대한 것입니다. 새 모델은 객체 교체, 계절 및 날씨 변경, 배경 교체, 재료 속성 수정, 아트 미디어 변환 등을 포함하여 여러 가지 까다로운 편집을 성공적으로 수행합니다.

연구원들은 새로운 방법을 SDEdit, Text2Live 등과 같은 일부 최신 기술과 비교했습니다. 새로운 모델은 이미지 편집 지침을 따르는 반면, 기준 방법을 포함한 다른 방법에는 이미지 또는 편집 레이어에 대한 설명이 필요합니다. 따라서 비교할 때 작성자는 편집 지침 대신 후자에 대해 "편집된" 텍스트 주석을 제공합니다. 또한 저자는 이미지 일관성과 편집 품질을 측정하는 두 가지 측정 기준을 사용하여 새로운 방법을 SDEdit과 정량적으로 비교합니다. 마지막으로 저자는 생성된 훈련 데이터의 크기와 품질이 모델 성능의 절제 결과에 어떻게 영향을 미치는지 보여줍니다.

위 내용은 GPT-3와 Stable Diffusion은 함께 작동하여 모델이 Party A의 이미지 리터칭 요구 사항을 이해하도록 돕습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!