사진은 시간을 여행할 수 있나요? '시간을 여행하는 얼굴' 신모델, AI 타임머신으로 변신

​현재 인공 지능과 딥 러닝 기술은 텍스트 이미지 생성, 초해상도 및 기타 응용 분야의 중요한 기반이 되고 있습니다.

이제 이미지에 대한 매우 상세한 설명을 입력하여 주어진 텍스트에 해당하는 사실적인 이미지를 얻을 수 있습니다.

이미지를 저해상도에서 고해상도로 변환하여 사진의 생생한 디테일을 생성할 수도 있습니다.

신경망에는 무한한 능력이 있는 것 같습니다. 그렇다면 이러한 방법을 시간 여행에 사용할 수 있을까요?

예를 들어, 50년 또는 100년 전에 찍은 자신의 사진이 어떤 모습일지 궁금한 적이 있나요? 당신이 가장 좋아하는 배우나 배우는 자신과 전혀 다른 시대에 태어났다면 어떤 모습일까요?

시간 여행 1단계: 데이터 세트 문제 해결

최근 고품질 얼굴 합성 및 편집 분야에서 StyleGAN의 성공을 고려하여 많은 작업이 인물 사진 편집을 위해 사전 훈련된 StyleGAN 모델을 사용하는 데 집중되었습니다.

그러나 기존 기술은 일반적으로 잘 정의된 의미 속성을 처리합니다. 예를 들어, 미소를 추가 또는 제거하거나 사진 속 인물의 나이를 변경할 수 있습니다.

이 작업의 논리는 사람의 정체성을 구성하는 이러한 속성을 그대로 유지하는 동시에 이 인공 지능 마차를 사용하여 과거 또는 미래로 다시 보내는 것입니다.

이 경우 사람들이 직면하는 주요 문제는 적합한 데이터 세트가 부족하다는 것입니다. 우리 모두 알고 있듯이, 완벽한 신경망 모델이 있더라도 데이터 세트는 모든 인공지능 연구자에게 여전히 악몽입니다.

불균형하거나 불충분하거나 사용할 수 없는 데이터는 딥 러닝 분야에서 흔히 발생하는 문제로, 데이터 편향이나 부정확한 결과로 이어질 수 있습니다.

이 문제를 극복하기 위해 중국 코넬대 과학자 Eric Ming Chen(왼쪽에서 두 번째)이 이끄는 연구팀은 FTT(Face Through Time) 데이터 세트를 만들었습니다.

Chen은 조지아 대학교의 중국 과학자 Jin Sun 등과 다른 사람들과 공동으로 출판물을 출판하여 "시간을 통한 얼굴" 데이터 세트의 작동 원리를 자세히 설명했습니다.

이 데이터세트의 이미지는 Wikimedia Commons에서 가져온 것입니다. 이 플랫폼은 크라우드소싱 및 공개 라이선스를 갖춘 5천만 개의 이미지를 제공합니다. FTT는 19세기부터 21세기까지의 초상화 26,247장을 분석했는데, 이는 10년당 평균 약 1,900장의 이미지입니다.

GAN의 부모-자식 계층 구조, AI "타임머신"으로 변형됨

이런 변화는 어떻게 달성되나요?

연구팀은 StyleGAN(Generative Adversarial Network) 부모-자식 계층 구조를 사용했습니다. 특별한 점은 수십 년 전체를 포괄하는 단일 모델을 훈련하기로 선택한 것이 아니라 대신 이미지 세트의 각 10년에 대해 하위 모델을 추가하여 각 기간의 데이터 분포를 더 잘 합성하기 위해 모델 세트를 훈련했다는 것입니다.

동시에 설명되는 사람의 신원과 자세를 보존하기 위해 연구팀은 상위 모델을 사용하여 이 정보를 잠재 공간 벡터에 매핑합니다.

먼저, 각 세대마다 하나씩 StyleGAN 모델 세트를 훈련하고 적대적 손실과 신원 손실을 사용하여 혼합 얼굴 이미지를 훈련합니다. 이 얼굴 맵은 하위 모델의 출력이며 혼합 맵이 상위 모델과 유사한 색상을 갖도록 수정되었습니다.

이 과정에서 인기 있는 안면 인식 모델인 ArcFace의 특징 계산으로 인한 신원 상실의 불일치를 방지해야 한다고 연구팀은 제안합니다. ArcFace 모델은 최신 이미지에 대해서만 훈련되었기 때문에 연구원들은 과거 이미지에서는 성능이 좋지 않다는 것을 발견했습니다.

이후, 각 실제 이미지는 10년 다양체(아래 이미지의 1960년)에 있는 벡터 w에 투영됩니다. 이 벡터에서 생성기 G't는 모든 하위 모델에 세련된 세부 정보를 전송하도록 훈련되었습니다. 마지막으로 모델이 초상화의 얼굴 세부 사항을 보존하도록 장려하기 위해 입력 이미지에 마스크가 적용됩니다.

모든 하위 모델을 미세 조정한 결과, 연구팀은 FTT의 서로 다른 시대의 하위 모델(아래 사진 주황색)이 헤어스타일을 변경하면서 상위 모델(아래 사진 파란색)에 성공적으로 포착된 것을 발견했습니다. 각 이미지의 인물 특징.

이 새로운 합성 이미지 프레임워크에는 두 가지 주요 특징이 있습니다. 첫째, 시간을 여행하는 인물 사진의 소망을 실현합니다. 둘째, 이 기술은 얼굴을 시간 변환할 때 인물 사진의 세부 사항 대부분을 유지할 수도 있습니다.

데이터세트에는 여전히 사소한 편차가 있어(예: 20세기 초반 이미지에 짧은 머리를 가진 여러 여성이 등장함) 출력 이미지에 불일치가 발생하지만 이 모델은 이전 작업보다 더 현실적입니다. 많이 개선되었습니다.

"시간을 여행하는 얼굴"이 시간여행의 첫걸음을 시작합니다. 이렇게 높은 정확도는 사람들로 하여금 '이번에는 시간을 초월한 인물 사진인데, 다음에는 어떨까?'라고 궁금해하게 만듭니다.

참조:

https://www.marktechpost.com/2022/11/09/latest-artificial-intelligence-ai-research-proposes-a-method-to-transform-faces-through-time/

https://facesthroughtime.github.io/

위 내용은 사진은 시간을 여행할 수 있나요? '시간을 여행하는 얼굴' 신모델, AI 타임머신으로 변신의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!