진정성이 충격적이네요! 구글과 코넬대학교, 실생활 이미지 완성 기술 '리얼필(RealFill)' 출시

멋진 사진을 찍는 것이 점점 쉬워지고 있습니다.

연휴에 여행을 갈 때 사진 촬영은 필수입니다. 하지만 명승지에서 찍은 사진은 대부분 배경에 뭔가가 더 있는 건지, 뭔가 빠진 게 있는 건지 아쉬움이 남는다.

"완벽한" 이미지를 얻는 것은 이력서 연구자들이 오랫동안 노력해 온 목표 중 하나입니다. 최근 Google Research와 Cornell University의 연구자들은 이미지 완성을 위한 생성 모델인 RealFill이라는 'Authentic Image Completion' 기술을 제안하기 위해 협력했습니다.

RealFill 모델의 장점은 대상 이미지와 정렬할 필요가 없는 소수의 장면 참조 이미지로 개인화할 수 있으며 보기 각도, 조명 조건, 카메라 조리개 또는 각도에 따라 크게 달라질 수도 있다는 것입니다. 이미지 스타일. 개인화가 완료되면 RealFill은 원본 장면에 충실한 방식으로 시각적으로 매력적인 콘텐츠로 대상 이미지를 보완할 수 있습니다.

• 논문을 보려면 다음 링크를 클릭하세요: https://arxiv.org/abs/2309.16668

• 프로젝트 페이지 링크: https://realfill.github.io/

인페인팅과 아웃페인팅 모델은 이미지의 알려지지 않은 영역에서 고품질의 합리적인 이미지 콘텐츠를 생성할 수 있는 기술입니다. 그러나 이러한 모델이 생성하는 콘텐츠는 현실 세계에서 현실적이지 않기 때문에 비현실적일 수밖에 없습니다. 장면의 맥락 정보가 부족합니다. 이에 비해 RealFill은 "있어야 하는" 콘텐츠를 생성하여 이미지 완성 결과를 더욱 현실감 있게 만듭니다.

저자는 논문에서 새로운 이미지 완성 문제인 "진정한 이미지 완성"을 정의했다고 지적했습니다. 기존의 생성적 이미지 복원(누락된 영역을 대체하는 내용이 원본 장면과 일치하지 않을 수 있음)과 달리, 실제 이미지 완성의 목표는 "있어야 하는" 콘텐츠를 사용하여 완성된 콘텐츠를 원본 장면에 최대한 충실하게 만드는 것입니다. 저기에 있을 수도 있는 내용으로 대상 이미지를 완성하세요.

저자는 RealFill이 프로세스에 더 많은 조건(예: 참조 이미지 추가)을 추가하여 생성 이미지 복구 모델의 표현력을 확장하는 첫 번째 방법이라고 말했습니다.

RealFill은 다양하고 까다로운 시나리오 세트를 다루는 새로운 이미지 완성 벤치마크에서 기존 방법보다 훨씬 뛰어난 성능을 발휘합니다.

method

RealFill의 목표는 소수의 참조 이미지를 사용하여 가능한 한 신뢰성을 유지하면서 주어진 대상 이미지의 누락된 부분을 완성하는 것입니다. 구체적으로 최대 5개의 참조 이미지와 동일한 장면을 대략적으로 캡처하는 대상 이미지(그러나 레이아웃이나 모양이 다를 수 있음)가 제공됩니다.

특정 장면에 대해 연구원들은 먼저 참조 이미지와 대상 이미지에 대해 사전 훈련된 인페인팅 확산 모델을 미세 조정하여 개인화된 생성 모델을 만듭니다. 이러한 미세 조정 프로세스는 미세 조정된 모델이 좋은 사전 이미지를 유지할 뿐만 아니라 입력 이미지의 장면 내용, 조명 및 스타일을 학습하도록 설계되었습니다. 이 미세 조정된 모델은 표준 확산 샘플링 프로세스를 통해 대상 이미지에서 누락된 영역을 채우는 데 사용됩니다.

실용적 적용 가치를 위해 이 모델은 더 까다롭고 제약이 없는 경우에 특별한 주의를 기울인다는 점에 주목할 가치가 있습니다. 즉, 대상 이미지와 참조 이미지는 관점과 환경이 매우 다를 수 있습니다. 조건, 카메라 조리개, 이미지 스타일, 심지어 움직이는 물체까지.

실험 결과

왼쪽의 참조 이미지에 따르면 RealFill은 오른쪽의 대상 이미지를 확장(자르기 해제) 또는 복구(인페인트)할 수 있습니다. 생성된 결과는 시각적으로 매력적일 뿐만 아니라, 또한 시점, 조리개, 조명, 이미지 스타일 및 개체 동작 측면에서 참조 이미지와 대상 이미지 사이에 큰 차이가 있더라도 참조 이미지와 일치해야 합니다.

^{RealFill 모델 출력 효과. 왼쪽에 참조 이미지가 있으면 RealFill은 오른쪽의 해당 대상 이미지를 확장할 수 있습니다. 흰색 상자 내부 영역은 알려진 픽셀로 네트워크에 제공되는 반면 흰색 상자 외부 영역은 생성됩니다. 그 결과 RealFill은 시점, 조리개, 조명, 이미지 스타일, 객체 움직임 등 참조 이미지와 대상 이미지 간에 큰 차이가 있어도 참조 이미지에 충실한 고품질 이미지를 생성할 수 있음을 보여줍니다. 출처: 종이}

통제 실험

연구원들은 RealFill 모델을 다른 기본 방법과 비교했습니다. 이에 비해 RealFill은 고품질 결과를 생성하고 참조 이미지와의 장면 충실도 및 일관성 측면에서 더 나은 성능을 발휘합니다.

Paint-by-Example은 높은 수준의 의미 정보만 캡처할 수 있는 CLIP 임베딩에 의존하기 때문에 높은 수준의 장면 충실도를 달성할 수 없습니다.

Stable Diffusion Inpainting은 겉으로는 그럴듯한 결과를 얻을 수 있지만, 프롬프트의 제한된 표현력으로 인해 최종 생성된 결과는 참조 이미지와 일치하지 않습니다.

^{RealFill과 다른 두 가지 기본 방법 비교. 투명한 흰색 마스크로 덮인 영역은 대상 이미지의 수정되지 않은 부분입니다. 출처: realfill.github.io}

Limitations

연구원들은 또한 처리 속도, 관점 변경 처리 능력, 기본 기능의 필요성을 포함하여 RealFill 모델의 몇 가지 잠재적인 문제와 한계에 대해 논의했습니다. 어려운 상황을 처리하는 모델의 능력. 구체적으로:

RealFill은 입력 이미지에 그라데이션 기반 미세 조정 프로세스가 필요하므로 상대적으로 실행 속도가 느려집니다.

참조 이미지와 대상 이미지 사이의 시점 변경이 매우 클 경우, 특히 참조 이미지가 하나만 있는 경우 RealFill이 3D 장면을 복원할 수 없는 경우가 많습니다.

RealFill은 사전 훈련된 기본 모델에서 상속된 이미지 사전에 주로 의존하기 때문에 텍스트를 잘 처리할 수 없는 안정적인 확산 모델과 같이 기본 모델에 까다로운 상황을 처리할 수 없습니다.

마지막으로 저자들은 협력자들에게 감사의 마음을 표합니다.

Rundi Wu, Qianqian Wang, Viraj Shah, Ethan Weber, Zhengqi Li, Kyle Genova, Boyang Deng, Maya Goldenberg, Noah Snavely, 귀중한 토론과 피드백을 주신 Ben Poole, Ben Mildenhall, Alex Rav-Acha, Pratul Srinivasan, Dor Verbin 및 Jon Barron과 평가 데이터세트에 기여해주신 Zeya Peng, Rundi Wu 및 Shan Nan에게도 감사드립니다. 특히 프로젝트에 대한 피드백과 지원을 주신 Jason Baldridge, Kihyuk Sohn, Kathy Meier-Hellstern 및 Nicole Brichtova에게 감사드립니다.

자세한 내용은 원문을 읽어보시고 프로젝트 홈페이지를 방문해주세요

위 내용은 진정성이 충격적이네요! 구글과 코넬대학교, 실생활 이미지 완성 기술 '리얼필(RealFill)' 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!