다중 모드 명령 학습: Google 이미지 생성 AI를 사용하면 쉽게 따라갈 수 있습니다.-일체 포함-php.cn

이제 그림 2의 스타일로 그림 1의 고양이를 그리고 그 위에 모자를 씌울 수 있는 Google이 디자인한 새로운 이미지 생성 모델이 있습니다. 이 모델은 명령어 미세 조정 기술을 사용하여 텍스트 명령어와 여러 참조 이미지를 기반으로 새로운 이미지를 정확하게 생성합니다. 효과는 매우 좋으며 PS 마스터가 직접 그림을 만드는 데 도움을 준 것과 비슷합니다.

다중 모드 명령 학습: Google 이미지 생성 AI를 사용하면 쉽게 따라갈 수 있습니다.

대형 언어 모델(LLM)을 사용할 때 지침 미세 조정의 중요성을 깨달았습니다. 지침을 적절하게 미세 조정하면 LLM은 시 작곡, 코드 작성, 대본 작성, 과학 연구 지원, 심지어 투자 관리 수행과 같은 다양한 작업을 수행할 수 있습니다.

대형 모델이 멀티 모달 시대에 진입한 지금, 교육 미세 조정이 여전히 유효한가요? 예를 들어, 다중 모드 명령을 통해 이미지 생성 제어를 미세 조정할 수 있습니까? 언어 생성과 달리 이미지 생성에는 처음부터 다중 양식이 포함됩니다. 모델이 다중 양식의 복잡성을 효과적으로 파악하도록 할 수 있습니까?

이 문제를 해결하기 위해 Google DeepMind와 Google Research는 이미지 생성을 달성하기 위한 다중 모드 학습 방법을 제안했습니다. 이 방법은 다양한 양식의 정보를 엮어 이미지 생성 조건을 표현합니다(그림 1의 왼쪽 패널에 표시된 예).

다중 모드 명령은 언어 명령을 향상시킬 수 있습니다. 예를 들어 사용자는 참조 이미지의 스타일을 지정하여 이미지를 렌더링할 모델을 생성할 수 있습니다. 이 직관적인 대화형 인터페이스를 통해 이미지 생성 작업을 위한 다중 모드 조건을 효율적으로 설정할 수 있습니다.

이 아이디어를 바탕으로 팀은 다중 모드 명령 이미지 생성 모델인 Instruct-Imagen을 만들었습니다.

다중 모드 명령 학습: Google 이미지 생성 AI를 사용하면 쉽게 따라갈 수 있습니다.

논문 주소: https://arxiv.org/abs/2401.01952

다중 모드 명령 학습: Google 이미지 생성 AI를 사용하면 쉽게 따라갈 수 있습니다.

모델은 2단계 교육 방법을 사용합니다. 먼저 다중 모드 지침을 처리하는 모델의 능력을 강화한 다음 충실하게 따릅니다. 다중 모달 사용자 의도.

첫 번째 단계에서 팀은 추가 다중 모드 입력을 처리하는 사전 훈련된 텍스트-이미지 모델을 채택했으며 나중에 다중 모드 명령에 정확하게 응답할 수 있도록 미세 조정했습니다. 구체적으로, 그들이 취한 사전 훈련된 모델은 확산 모델이었으며 네트워크 규모(이미지, 텍스트) 코퍼스에서 가져온 유사한(이미지, 텍스트) 컨텍스트로 보강되었습니다.

두 번째 단계에서 팀은 다양한 이미지 생성 작업에 대해 모델을 미세 조정했으며, 각 작업은 해당 다중 모드 지침과 쌍을 이루었습니다. 이러한 지침에는 각 작업의 핵심 요소가 포함되었습니다. 위 단계를 수행한 후 결과 모델 Instruct-Imagen은 여러 양식(예: 스케치와 텍스트 지침으로 설명된 시각적 스타일)의 융합 입력을 매우 능숙하게 처리할 수 있으므로 상황에 정확하게 맞고 충분히 밝은 이미지를 생성할 수 있습니다.

그림 1에서 볼 수 있듯이 Instruct-Imagen은 복잡한 다중 모드 명령을 이해하고 인간의 의도를 충실히 따르는 이미지를 생성할 수 있으며 이전에 볼 수 없었던 명령의 조합도 처리할 수 있어 매우 뛰어난 성능을 발휘합니다.

다중 모드 명령 학습: Google 이미지 생성 AI를 사용하면 쉽게 따라갈 수 있습니다.

인간 피드백에 따르면 많은 경우 Instruct-Imagen은 해당 작업에 대한 작업별 모델의 성능과 일치할 뿐만 아니라 이를 능가하기도 합니다. 뿐만 아니라 Instruct-Imagen은 강력한 일반화 기능을 보여주며 눈에 보이지 않는 보다 복잡한 이미지 생성 작업에 사용될 수 있습니다.

생성을 위한 다중 모드 지침

팀에서 사용하는 사전 학습된 모델은 확산 모델이며 사용자가 입력 조건을 설정할 수 있습니다. 자세한 내용은 원본 논문을 참조하세요.

다중 모드 지침의 경우 다양성과 일반화 능력을 보장하기 위해 팀에서는 언어의 역할이 작업의 목표와 다중 모드 조건을 명확하게 기술하는 통합 다중 모드 교육 형식을 제안했습니다. 참고정보로 활용됩니다.

새로 제안된 이 명령 형식에는 두 가지 주요 구성 요소가 포함되어 있습니다. (1) 작업 목표를 자세히 설명하고 [ref#?]와 같은 참조 정보 식별을 제공하는 역할을 하는 페이로드 텍스트 명령입니다. (2) 쌍을 이루는(로고 + 텍스트, 이미지) 다중 모드 컨텍스트. 그런 다음 모델은 공유 명령어 이해 모델을 사용하여 텍스트 명령어와 다중 모드 컨텍스트를 처리합니다. 컨텍스트의 특정 양식은 여기에 제한되지 않습니다.

그림 2는 이 형식이 이전 이미지 생성 작업과 호환될 수 있음을 보여주는 세 가지 예를 통해 이 형식이 다양한 이전 세대 작업을 어떻게 나타낼 수 있는지 보여줍니다. 더 중요한 것은 언어가 유연하므로 양식 및 작업에 대한 특별한 설계 없이도 다중 모드 명령을 새로운 작업으로 확장할 수 있다는 것입니다.

다중 모드 명령 학습: Google 이미지 생성 AI를 사용하면 쉽게 따라갈 수 있습니다.

Instruct-Imagen

Instruct-Imagen은 다중 모드 지침을 기반으로 합니다. 이를 기반으로 팀은 사전 훈련된 텍스트-이미지 확산 모델, 즉 계단식 확산 모델을 기반으로 입력 다중 모드 명령 조건을 완전히 채택할 수 있는 모델 아키텍처를 설계했습니다.

다중 모드 명령 학습: Google 이미지 생성 AI를 사용하면 쉽게 따라갈 수 있습니다.

구체적으로는 Imagen의 변형을 사용했으며 "깊은 언어 이해를 갖춘 사실적인 텍스트-이미지 확산 모델" 논문을 참조하고 내부 데이터 소스를 기반으로 사전 훈련했습니다. 전체 모델에는 두 가지 하위 구성 요소가 포함되어 있습니다. (1) 텍스트 프롬프트만 사용하여 128×128 해상도 이미지를 생성하는 작업을 수행하는 텍스트-이미지 구성 요소 (2) 128 해상도로 변환할 수 있는 텍스트 조건부 초해상도 모델 이미지를 1024 해상도로 업그레이드하세요.

다중 모드 명령어의 인코딩에 대해서는 다중 모드 명령어를 인코딩하는 Instruct-Imagen의 데이터 흐름을 보여주는 그림 3(오른쪽)을 참조하세요.

2단계 방법을 사용한 Instruct-Imagen 교육

Instruct-Imagen의 교육 과정은 두 단계로 나뉩니다.

첫 번째 단계는 검색 강화된 텍스트-이미지 훈련으로, 향상된 검색된 이웃(이미지, 텍스트) 쌍을 사용하여 텍스트-이미지 생성 훈련을 계속합니다.

두 번째 단계는 첫 번째 단계의 출력 모델을 미세 조정하는 것으로, 각 작업은 해당 다중 모드 명령과 쌍을 이루는 다양한 이미지 생성 작업을 혼합하여 사용합니다. 특히 팀은 5개 작업 범주에 걸쳐 11개의 이미지를 사용하여 데이터 세트를 생성했습니다(표 1 참조).

다중 모드 명령 학습: Google 이미지 생성 AI를 사용하면 쉽게 따라갈 수 있습니다.

두 학습 단계 모두에서 모델은 처음부터 끝까지 최적화됩니다.

Experiments

팀은 새로 제안된 방법과 모델에 대한 실험적 평가를 수행하고 Instruct-Imagen의 설계 및 실패 모드에 대한 심층 분석을 수행했습니다.

실험 설정

팀은 두 가지 설정, 즉 도메인 내 작업 평가와 제로샷 작업 평가에서 모델을 평가했는데, 여기서 후자 설정이 이전 설정보다 더 어렵습니다.

주요 결과

그림 4는 Instruct-Imagen을 기본 방법 및 이전 방법과 비교한 결과, 도메인 평가 및 제로 샘플 평가에서 이전 방법과 비교할 수 있음을 보여줍니다.

다중 모드 명령 학습: Google 이미지 생성 AI를 사용하면 쉽게 따라갈 수 있습니다.

이는 다중 모드 명령을 사용한 훈련이 제한된 훈련 데이터를 사용하는 작업(예: 양식화 생성)에서 모델 성능을 향상시키는 동시에 데이터가 풍부한 작업(예: 사진과 같은 이미지 생성)에서 성능을 유지할 수 있음을 보여줍니다. 다중 모드 교육이 없으면 다중 작업 벤치마크로 인해 이미지 품질과 텍스트 정렬이 저하되는 경향이 있습니다.

예를 들어 그림 5의 컨텍스트 내 스타일화 예에서 멀티태스킹 벤치마크는 스타일과 개체를 구별하는 데 어려움이 있으므로 개체가 생성된 결과에 재현됩니다. 비슷한 이유로 스타일 전송 작업에서도 성능이 좋지 않습니다. 이러한 관찰은 명령어 미세 조정의 가치를 강조합니다.

다중 모드 명령 학습: Google 이미지 생성 AI를 사용하면 쉽게 따라갈 수 있습니다.

특정 작업에 의존하는 현재 방법이나 교육과 달리 Instruct-Imagen은 다양한 작업의 목표를 결합하고 상황에 맞는 추론을 수행하는 지침을 활용하여 결합된 작업을 (예를 들어 미세 조정 없이) 효율적으로 관리할 수 있습니다. 초).

그림 6에서 볼 수 있듯이 Instruct-Imagen은 명령 따르기 및 출력 품질 측면에서 항상 다른 모델보다 성능이 뛰어납니다.

다중 모드 명령 학습: Google 이미지 생성 AI를 사용하면 쉽게 따라갈 수 있습니다.

그뿐만 아니라 다중 모드 컨텍스트에 여러 참조가 있는 경우 다중 작업 기준 모델이 텍스트 지침을 참조에 대응할 수 없어 일부 다중 모드 조건이 무시됩니다. 이러한 결과는 새로 제안된 모델의 효율성을 더욱 입증합니다.

모델 분석 및 절제 연구

팀은 모델의 한계와 실패 모드를 분석했습니다.

예를 들어, 팀은 미세 조정된 Instruct-Imagen이 이미지를 편집할 수 있다는 것을 발견했습니다. Table 2에서 보는 바와 같이 기존의 SDXL-inpainting과 MagicBrush 데이터세트에서 미세 조정된 Imagen, 그리고 미세 조정된 Instruct-Imagen을 비교하면 미세 조정된 Instruct-Imagen이 기존의 Instruct-Imagen보다 훨씬 우수함을 알 수 있다. 마스크 기반 이미지 편집을 위해 특별히 설계된 디자인 모델입니다.

다중 모드 명령 학습: Google 이미지 생성 AI를 사용하면 쉽게 따라갈 수 있습니다.

그러나 미세 조정된 Instruct-Imagen은 편집된 이미지, 특히 그림 7과 같이 초해상도 단계 이후의 고해상도 출력에서 아티팩트를 생성합니다. 연구원들은 모델이 이전에 상황에서 직접 픽셀을 정확하게 복사하는 방법을 학습하지 않았기 때문이라고 말합니다.

다중 모드 명령 학습: Google 이미지 생성 AI를 사용하면 쉽게 따라갈 수 있습니다.

팀은 또한 검색 강화 훈련이 일반화 능력 향상에 도움이 된다는 것을 발견했으며 그 결과는 표 3에 나와 있습니다.

다중 모드 명령 학습: Google 이미지 생성 AI를 사용하면 쉽게 따라갈 수 있습니다.

Instruct-Imagen의 실패 모드와 관련하여 연구원들은 다중 모드 명령이 더 복잡할 때(최소 3개의 다중 모드 조건) Instruct-Imagen이 명령을 준수하는 결과를 생성하는 데 어려움을 겪는다는 사실을 발견했습니다. 그림 8에는 두 가지 예가 나와 있습니다.

다중 모드 명령 학습: Google 이미지 생성 AI를 사용하면 쉽게 따라갈 수 있습니다.