2차원 특수 초해상도 AI 모델 APISR: 온라인으로 이용 가능, CVPR 선정

지난 세기에 방영된 "드래곤볼", "포켓몬스터", "신세기 에반게리온"과 같은 애니메이션 작품은 많은 사람들의 어린 시절 추억의 일부이며 우리에게 열정, 우정, 꿈이 가득한 비전을 선사했습니다. 여행. 어느 순간 우리는 문득 어린 시절의 추억을 다시 찾고 싶은 충동을 느끼겠지만, 어린 시절의 추억에 대한 인식률이 매우 낮고 와이드스크린 TV에서는 좋은 시각적 경험을 만들어내는 것이 불가능하다는 점을 안타깝게 느낄 수도 있습니다. HD 해상도의 디지털 세상에서 자라나는 아이들과 어린 시절의 추억을 공유하세요.

이러한 악랄한 경쟁(및 잠재 시장)에 대한 한 가지 방법은 애니메이션 회사에 리메이크 제작을 의뢰하는 것입니다. 이 작업은 인적, 재정적 측면 모두에서 비용이 많이 들지만 문제를 무시하고 시장 점유율을 잃는 것보다 더 가치가 있을 수 있습니다.

멀티모달 인공지능의 성능은 점점 강력해지고 있으며, AI 기반 초해상도 기술을 활용해 애니메이션 해상도를 높이는 것은 탐구해볼 만한 방향이 되었습니다. 이 기술은 소수의 저해상도 이미지에서 고해상도 이미지를 재구성하여 애니메이션 이미지를 더욱 선명하고 세밀하게 만들 수 있습니다. 이 방법은 대량의 샘플 데이터를 훈련하여 깊이를 활용합니다

최근 미시간 대학, 예일 대학, 저장 대학의 공동 팀은 애니메이션 제작 과정을 분석하여 애니메이션 초해상도 작업을 위한 매우 실용적인 새로운 방법 세트를 만들었습니다. . 방법. 여기에는 데이터 세트, 모델 및 일부 개선 사항이 포함됩니다. 이 연구는 CVPR 2024 컨퍼런스에 채택되었습니다. 또한 팀은 관련 코드를 오픈소스로 공개하고 Huggingface에서 시험 모델을 출시했습니다.

• 논문 제목: APISR: Anime Production Inspired Real-World Anime Super-Resolution

• 논문 주소: https://arxiv.org/pdf/2403.01598.pdf

• 코드 주소: https ://github.com/Kiteretsu77/APISR

• 체험 모델: https://huggingface.co/spaces/HikariDawn/APISR

아래 사진은 본 사이트에서 1화의 스크린샷을 활용하여 시도한 내용입니다. '드래곤볼' 결과적으로 그 효과는 육안으로도 확인 가능하다.

또한 일부 사람들은 이 기술을 사용하여 비디오 해상도를 향상하려고 시도했으며 결과는 훌륭했습니다.

애니메이션 제작 과정

이 새로운 방법의 혁신을 이해하려면, 먼저 애니메이션이 일반적으로 어떻게 만들어지는지 살펴보겠습니다.

먼저 인간이 종이에 스케치한 다음 컴퓨터 생성 이미지(CGI) 처리를 통해 색상을 지정하고 향상시킵니다. 이렇게 처리된 스케치를 연결하여 영상을 제작합니다.

그러나 그리는 과정은 매우 노동 집약적이며 인간의 눈은 움직임에 민감하지 않기 때문에 비디오를 합성할 때 업계 표준 관행은 단일 이미지를 여러 연속 프레임에 재사용하는 것입니다.

이 프로세스를 분석하면서 합동팀은 애니메이션 초해상도 모델을 훈련하기 위해 비디오 모델과 비디오 데이터 세트를 사용해야 하는지 궁금해하지 않을 수 없었습니다. 이미지에 대해 초해상도를 수행한 다음 연결하는 것이 완전히 가능합니다. 이 이미지들!

그래서 그들은 이미지 기반 방법과 데이터 세트를 사용하여 이미지와 비디오에 적합한 통합된 초해상도 및 복원 프레임워크를 만들기로 결정했습니다.

새로운 제안 방법

애니메이션 제작을 위한 이미지 초해상도(API SR) 데이터 세트

팀에서 제안한 API SR 데이터 세트의 수집 및 구성 방법에 대해 간략하게 소개합니다. 이 방법은 애니메이션 비디오의 특성(그림 2 참조)을 활용하고 비디오에서 압축이 가장 적고 정보가 가장 많은 프레임을 선택할 수 있습니다.

I 프레임 기반 이미지 수집: 비디오 압축에는 비디오 품질과 데이터 크기 간의 균형이 필요합니다. 현재 많은 비디오 압축 표준이 있으며 각 표준에는 고유한 복잡한 엔지니어링 시스템이 있지만 모두 유사한 백본 설계를 가지고 있습니다.

이러한 특성으로 인해 각 프레임의 압축 품질이 달라집니다. 비디오 압축 프로세스에서는 여러 키 프레임(예: I-프레임)을 개별 압축 단위로 지정합니다. 실제로 I-프레임은 장면이 바뀔 때 첫 번째 프레임입니다. 이러한 I-프레임은 많은 양의 데이터를 차지할 수 있습니다. Non-I 프레임(예: P 프레임 및 B 프레임)은 압축률이 더 높으며 시간에 따른 변화를 도입하기 위해 압축 프로세스 중에 I 프레임을 참조로 사용해야 합니다. 그림 3a에서 볼 수 있듯이 팀이 수집한 애니메이션 영상에서 I 프레임의 데이터 크기는 일반적으로 Non-I 프레임의 데이터 크기보다 크고 I 프레임의 품질도 실제로 더 높습니다. 따라서 팀에서는 비디오 처리 도구인 ffmpeg를 사용하여 비디오 소스에서 모든 I-프레임을 추출하고 이를 초기 데이터 풀로 사용했습니다.

이미지 복잡성에 따른 선택: 팀은 애니메이션에 더 적합한 지표인 ICA(이미지 복잡성 평가)를 기반으로 초기 I-프레임 풀을 선별했습니다(그림 4 참조).

API 데이터 세트: 팀은 562개의 고품질 애니메이션 비디오를 수동으로 수집했습니다. 그런 다음 위의 두 단계를 기반으로 각 비디오에서 가장 높은 점수를 받은 프레임 10개를 수집했습니다. 그런 다음 부적절한 이미지를 제거하기 위해 일부 필터링을 수행하여 최종적으로 3740개의 고품질 이미지가 포함된 데이터 세트를 얻었습니다. 그림 5는 몇 가지 이미지 예를 보여줍니다. 또한 이미지 복잡성 측면에서 API 데이터 세트의 장점도 그림 3b에서 확인할 수 있습니다.

원래 720P 해상도로 돌아가기: 애니메이션 제작 과정을 연구해 보면 대부분의 애니메이션 제작이 720P 형식(즉, 이미지 높이가 720픽셀)을 사용한다는 것을 알 수 있습니다. 그러나 실제 시나리오에서는 멀티미디어 형식을 표준화하려는 노력의 일환으로 애니메이션이 실수로 1080P 또는 기타 형식으로 업스케일되는 경우가 많습니다. 팀은 실험적으로 모든 애니메이션 이미지의 크기를 기본 720P로 조정하면 제작자가 구상한 기능 밀도와 더 촘촘한 손으로 그린 ​​애니메이션 선 및 CGI 정보가 제공된다는 사실을 발견했습니다.

애니메이션을 위한 실용적인 성능 저하 모델

실제 초해상도 작업에서는 성능 저하 모델의 설계가 매우 중요합니다. 연구팀은 고차 열화 모델과 최신 이미지 기반 비디오 압축 복구 모델을 기반으로 왜곡된 손으로 그린 ​​선과 다양한 압축 아티팩트를 복원하고 열화 모델의 표현력을 향상시킬 수 있는 두 가지 개선 사항을 제안했습니다. 그림 6a는 이러한 저하 모델을 보여줍니다.

예측 중심 압축: 비디오 압축 아티팩트의 애니메이션 복구 작업의 경우 이미지 저하 모델을 사용하면 어려운 문제가 발생합니다. 이는 JPEG 이미지 형식의 압축 방식과 비디오 압축 원리가 다르기 때문입니다.

이러한 어려움을 해결하기 위해 팀에서는 이미지 저하 모델에 사용되는 예측 중심의 압축 모델을 설계했습니다. 이 모듈에는 단일 입력 프레임을 압축하려면 비디오 압축 알고리즘이 필요합니다.

이 접근 방식을 사용하면 이미지 저하 모델은 그림 7과 같이 일반적인 다중 프레임 비디오 압축에서 관찰된 것과 유사한 압축 아티팩트를 합성할 수 있습니다. 그런 다음 이러한 합성 이미지를 이미지 초해상도 네트워크에 공급함으로써 시스템은 다양한 압축 아티팩트의 패턴을 효과적으로 학습하고 이를 복구할 수 있습니다.

크기 조정 모듈 순서 섞기: 실제 초해상도 분야의 퇴화된 모델은 흐림, 크기 조정, 노이즈 및 압축 모듈을 고려해야 합니다. 흐림, 노이즈 및 압축은 명확한 수학적 모델이나 알고리즘을 통해 합성할 수 있는 실제 인공물입니다. 그러나 크기 조정 모듈의 논리는 완전히 다릅니다. 크기 조정은 자연스러운 이미지 생성의 일부가 아니지만 쌍별 데이터 세트의 초해상도를 위해 특별히 도입되었습니다. 따라서 이전의 고정 크기 크기 조정 모듈은 그다지 적합하지 않았습니다. 팀은 퇴화 모델 내에서 다양한 순서로 크기 ​​조정 작업을 무작위로 배치하는 보다 강력하고 효율적인 솔루션을 제안했습니다.

애니메이션을 위해 손으로 그린 ​​선 향상

팀의 선택은 날카롭게 손으로 그린 ​​선 정보를 직접 추출하고 이를 지상 진실(GT/Ground-truth)과 융합하여 의사 GT를 형성하는 것입니다. 특별히 목표로 삼은 강화된 의사 GT를 초해상도 훈련 프로세스에 도입함으로써 네트워크는 추가적인 신경망 모듈이나 별도의 후처리 네트워크를 도입하지 않고도 손으로 그린 ​​선명한 선을 생성할 수 있습니다.

손으로 그린 ​​선을 더 잘 추출하기 위해 팀은 GT의 날카로운 모서리 맵을 추출할 수 있는 픽셀별 가우시안 커널 기반 스케치 추출 알고리즘인 XDoG를 사용했습니다.

그러나 XDoG 가장자리 맵은 이상치 픽셀과 점선 표현을 포함하는 과도한 노이즈로 인해 어려움을 겪습니다. 이 문제를 해결하기 위해 팀은 맞춤형으로 설계된 수동 확장 방법과 결합된 이상치 필터링 기술을 제안했습니다. 이러한 방식으로 손으로 그린 ​​선이 더욱 일관되고 방해받지 않게 표현됩니다.

팀은 사전 처리된 GT를 과도하게 선명하게 하면 관련 없는 다른 그림자 가장자리 세부 사항보다 손으로 그린 ​​선 가장자리가 더 눈에 띄게 되어 이상치 필터가 차이점을 더 쉽게 식별할 수 있다는 것을 실험적으로 발견했습니다. 이를 위해 팀은 먼저 GT에서 디샤프닝 마스킹 작업을 3회 수행할 것을 제안했습니다. 그림 8은 이 프로세스를 간단하게 보여줍니다.

애니메이션을 위한 균형 잡힌 이중 지각 손실

원치 않는 색상 아티팩트 문제도 있습니다. 주로 생성기와 지각 손실 간의 훈련 내 데이터 도메인 불일치로 인해 발생합니다.

이 문제를 해결하고 이전 방법의 단점을 보완하기 위해 팀의 접근 방식은 Danbooru 데이터 세트에 대한 애니메이션 대상 분류 작업에 대해 훈련된 사전 훈련된 ResNet을 사용하는 것이었습니다. Danbooru 데이터세트는 크고 풍부한 주석이 포함된 애니메이션 일러스트레이션 데이터베이스입니다. 이 사전 훈련된 네트워크는 VGG가 아닌 ResNet50이므로 팀에서는 유사한 중간 계층 비교도 제안했습니다.

그러나 ResNet 기반 손실만 사용하는 경우 시각적 결과가 좋지 않을 수 있습니다. 이는 Danbooru 데이터세트의 고유한 편견으로 인해 발생합니다. 이 데이터세트에 있는 이미지의 대부분은 사람의 얼굴이거나 비교적 단순한 일러스트레이션입니다. 따라서 팀은 실제 기능을 훈련 중 ResNet 기반 지각 손실을 안내하기 위한 보조 도구로 사용하기로 결정했습니다. 이 방법은 원치 않는 색상 문제를 해결하면서 시각적으로 만족스러운 이미지를 생성합니다.

실험

구현 세부정보

실험에서 팀은 새로 제안한 API 데이터 세트를 이미지 네트워크의 학습 데이터 세트로 사용했습니다. 이미지 네트워크의 경우 가장 가까운 컨벌루션 업샘플링 모듈과 함께 작은 버전의 GRL이 사용됩니다.

자세한 내용과 매개변수는 원본 논문을 참조하세요.

현재 최상의 방법과 비교

팀은 새로 제안된 APISR을 Real-ESRGAN, BSRGAN, RealBasicVSR, AnimeSR 및 VQD-SR을 포함한 다른 고급 방법과 정량적, 질적으로 비교했습니다.

정량적 비교

표 1에서 볼 수 있듯이 새 모델은 매개변수가 1.03M로 가장 작은 네트워크 크기를 갖지만 모든 지표에서 성능은 다른 모든 방법을 능가합니다.

팀에서는 특히 예측 중심 압축 모델의 역할을 강조했습니다.

또한 새로운 방법은 AnimeSR과 VQDSR에 대해 각각 13.3%와 25%의 훈련 샘플 복잡성으로만 이러한 결과를 달성했다는 점을 지적해야 합니다. 이는 주로 데이터 세트 정렬 프로세스에 이미지 복잡성 평가를 도입했기 때문에 정보가 풍부한 이미지를 선택하여 애니메이션 이미지 표현 학습 효과를 향상시킬 수 있습니다. 또한 새로 설계된 명시적 성능 저하 모델 덕분에 성능 저하 모델 측면에서는 교육이 필요하지 않습니다.

정성적 비교

그림 10에서 볼 수 있듯이 APISR로 얻은 시각적 품질은 다른 방법보다 훨씬 좋습니다.

팀에서는 새로운 데이터 세트, 성능 저하 모델 및 손실 설계의 효율성을 검증하기 위한 절제 연구도 수행했습니다. 자세한 내용은 원본 논문을 참조하세요.

위 내용은 2차원 특수 초해상도 AI 모델 APISR: 온라인으로 이용 가능, CVPR 선정의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!