Yang Mi와 Taylor의 혼합 스타일: Xiaohongshu AI가 SD 및 ControlNet에 적합한 스타일 출시

지금 사진을 찍는 것은 정말 “너무 간단해서 말도 안 돼요”.

실제 인물은 카메라에 등장할 필요가 없으며 포즈나 헤어스타일에 대해 걱정할 필요가 없습니다. 자신의 이미지만 몇 초만 기다리면 7가지의 완전히 다른 스타일을 얻을 수 있습니다.

자세히 보세요 모양/포즈 다 깔끔하게 되어 있고 원본 사진도 바로 나오니까 수정할 필요도 없어요.

그 전에는 적어도 하루 종일 사진관에 있으면 안 돼요. 그러면 우리도, 사진가도, 메이크업 아티스트도 거의 지칠 지경이거든요.

위는 InstantID라는 AI의 힘입니다.

사실적인 사진 외에도 "사람이 아닌" 사진일 수도 있습니다.

예를 들어 고양이 머리와 몸이 있지만 자세히 보면 얼굴 특징이 있습니다.

다양한 가상 스타일은 말할 것도 없고:

스타일 2처럼 실제 사람이 직접 석상으로 변신합니다.

물론, 석상을 입력하면 다음과 같이 직접 변형할 수도 있습니다.

그런데 두 얼굴 융합이라는 고출력 연산도 수행할 수 있습니다. 양미+의 20%는 무엇인지 살펴보세요. Taylor의 80%는 다음과 같습니다.

한 장의 사진에는 무제한의 고품질 변형이 있지만 이를 알아내야 합니다.

그럼 이건 어떻게 하는 걸까요?

확산 모델을 기반으로 하며 SD와 완벽하게 통합될 수 있습니다

저자는 현재의 이미지 양식화 기술이 단 하나의 순방향 추론(예: ID 임베딩 기반)으로 이미 작업을 완료할 수 있다고 소개했습니다.

그러나 이 기술에는 문제도 있습니다. 수많은 모델 매개변수를 광범위하게 미세 조정해야 하거나, 커뮤니티에서 개발한 사전 훈련된 모델과의 호환성이 부족하거나, 충실도가 높은 얼굴 특징을 유지할 수 없습니다.

이러한 과제를 해결하기 위해 InstantID를 개발했습니다.

InstantID는 확산 모델을 기반으로 구축되었으며 플러그 앤 플레이 모듈은 높은 충실도를 유지하면서 단일 얼굴 이미지만으로 다양한 스타일의 변형을 능숙하게 처리할 수 있습니다.

가장 주목할만한 점은 널리 사용되는 텍스트-이미지 사전 학습 확산 모델(예: SD1.5, SDXL)

과 완벽하게 통합되어 플러그인으로 사용할 수 있다는 것입니다.

특히 InstantID는 세 가지 핵심 구성 요소로 구성됩니다.

(1) 강력한 의미론적 얼굴 정보를 캡처하는 ID 임베딩

(2) 교차 주의가 분리된 경량 적응 모듈, 시각적 신호로 편리한 이미지

(3) 추가적인 공간 제어를 통해 참조 이미지의 세부 특징을 인코딩하는 IdentityNet 네트워크를 통해 최종적으로 이미지 생성이 완료됩니다.

업계의 이전 작업과 비교할 때 InstantID는 몇 가지 차이점이 있습니다.

첫째, UNet을 교육할 필요가 없으므로 원본 텍스트-이미지 모델의 생성 능력을 유지할 수 있으며, 기존의 사전 훈련된 모델 및 ControlNet 모델과 호환됩니다.

둘째, 테스트 시간 조정이 필요하지 않으므로 특정 스타일의 경우 미세 조정을 위해 여러 이미지를 수집할 필요가 없으며 단일 이미지에 대해 하나의 추론만 필요합니다.

셋째, 더 나은 얼굴 충실도를 달성하는 것 외에도 텍스트 편집 기능도 유지됩니다. 아래 사진처럼 몇 마디의 단어만으로 이미지의 성별 변경, 슈트 변경, 헤어스타일, 헤어 컬러 변경이 가능합니다.

다시 한번 말씀드리지만, 단 1개의 참조 이미지만으로 위의 모든 효과를 몇 초 안에 완성할 수 있습니다.

아래 실험에서 볼 수 있듯이

몇 장의 참고 사진은 거의 쓸모가 없으며 하나는 잘 할 수 있습니다

.

다음은 몇 가지 구체적인 비교입니다.

비교 대상은 기존의 튜닝이 필요 없는 SOTA 방식인 IP-Adapter(IPA), IP-Adapter-FaceID, 그리고 이틀 전에 Tencent에서 방금 제작한 PhotoMaker입니다.

모두가 상당히 "볼륨"이 좋고 효과도 나쁘지 않다는 것을 알 수 있습니다. 하지만 주의 깊게 비교해 보면 PhotoMaker와 IP-Adapter-FaceID는 둘 다 충실도는 좋지만 텍스트 제어 기능은 확실히 더 나쁩니다.

이와 대조적으로 InstantID의 얼굴과 스타일은 더 잘 조화되어 우수한 텍스트 편집 가능성을 유지하면서 더 나은 충실도를 달성합니다.

이 외에도 InsightFace Swapper 모델과의 비교도 있는데 어떤게 더 좋다고 생각하시나요?

저자 소개

이 기사에는 신비한 InstantX 팀의 5명의 저자가 있습니다(온라인에서는 많은 정보를 찾을 수 없음).

그런데 한 명은 Little Red Book의 왕치순이에요.

교신저자인 Wang Haofan은 Xiaohongshu의 엔지니어이기도 하며 제어 가능하고 조건부 콘텐츠 생성에 대한 연구에 참여하고 있으며(AIGC) CMU'20 졸업생입니다.

위 내용은 Yang Mi와 Taylor의 혼합 스타일: Xiaohongshu AI가 SD 및 ControlNet에 적합한 스타일 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!