목차
기술 개요
실험 결과
기술 주변기기 일체 포함 Stable Video 3D는 충격적인 데뷔를 합니다. 단일 이미지로 사각지대가 없는 3D 비디오를 생성하고 모델 가중치가 공개됩니다.

Stable Video 3D는 충격적인 데뷔를 합니다. 단일 이미지로 사각지대가 없는 3D 비디오를 생성하고 모델 가중치가 공개됩니다.

Mar 20, 2024 pm 10:31 PM
ai 데이터

안정성 AI에는 대규모 모델 제품군에 새로운 구성원이 있습니다.

어제 Stable Diffusion과 Stable Video Diffusion을 출시한 후 Stability AI는 대형 3D 비디오 생성 모델인 "Stable Video 3D"(줄여서 SV3D)를 커뮤니티에 선보였습니다.

이 모델은 Stable Video Diffusion을 기반으로 제작되었으며, 주요 장점은 3D 생성 품질과 다중 뷰 일관성이 크게 향상된다는 것입니다. Stability AI와 공동 오픈 소스 Zero123-XL이 출시한 이전 Stable Zero123과 비교하면 이 모델의 효과는 더욱 좋습니다.

현재 Stable Video 3D는 Stability AI 멤버십(회원 가입)이 필요한 상업용 사용과 사용자가 Hugging Face에서 모델 가중치를 다운로드할 수 있는 비상업적 사용을 모두 지원합니다.

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

Stability AI는 SV3D_u와 SV3D_p라는 두 가지 모델 변형을 제공합니다. SV3D_u는 카메라 조정 없이 단일 이미지 입력을 기반으로 궤도 비디오를 생성하는 반면, SV3D_p는 단일 이미지와 궤도 관점을 적용하여 생성 기능을 더욱 확장하여 사용자가 지정된 카메라 경로를 따라 3D 비디오를 생성할 수 있도록 합니다.

현재 Stable Video 3D에 관한 연구 논문이 발표되었으며, 핵심 저자는 3명입니다.

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放


  • 논문 주소: https://stability.ai/s/SV3D_report.pdf
  • 블로그 주소: https://stability.ai/news/introducing-stable-video- 3d
  • Huggingface 주소: https://huggingface.co/stabilityai/sv3d

기술 개요

Stable Video 3D는 3D 생성 분야, 특히 새로운 뷰 생성 합성 분야에서 상당한 발전을 이루었습니다. , NVS) 측면.

이전 방법은 제한된 시야각과 일관되지 않은 입력 문제를 해결하는 경향이 있었지만 Stable Video 3D는 주어진 각도에서 일관된 시야를 제공하고 잘 일반화할 수 있습니다. 결과적으로 이 모델은 포즈 제어성을 향상시킬 뿐만 아니라 여러 뷰에서 일관된 개체 모양을 보장하여 현실적이고 정확한 3D 생성에 영향을 미치는 주요 문제를 더욱 개선합니다.

아래 그림에서 볼 수 있듯이 Stable Zero123 및 Zero-XL과 비교하여 Stable Video 3D는 더욱 강력한 디테일, 입력 이미지에 대한 충실도 및 보다 일관된 다중 시점을 갖춘 새로운 다중 시점을 생성할 수 있습니다.

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

또한 Stable Video 3D는 다중 뷰 일관성을 활용하여 NeRF(3D Neural Radiance Fields)를 최적화하여 새로운 뷰에서 직접 생성된 3D 메시의 품질을 향상시킵니다.

이를 위해 Stability AI는 예측 뷰에서 보이지 않는 영역의 3D 품질을 더욱 향상시키는 마스크 분별 증류 샘플링 손실을 설계했습니다. 또한 구운 조명 문제를 완화하기 위해 Stable Video 3D는 3D 모양과 질감에 최적화된 분리된 조명 모델을 사용합니다.

아래 그림은 Stable Video 3D 모델과 그 출력을 사용할 때 3D 최적화를 통해 향상된 3D 메쉬 생성의 예를 보여줍니다.

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

아래 그림은 Stable Video 3D를 사용하여 생성된 3D 메쉬 결과와 EscherNet 및 Stable Zero123에서 생성된 결과를 비교한 것입니다.

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

아키텍처 세부 정보

Stable Video 3D 모델의 아키텍처는 아래 그림 2에 나와 있으며 Stable Video Diffusion 아키텍처를 기반으로 구축되었으며 각 레이어가 여러 레이어로 구성된 UNet을 포함합니다. 레이어 또한 Conv3D 레이어가 있는 일련의 잔차 블록과 주의 레이어(공간 및 시간)가 있는 두 개의 변환기 블록이 포함되어 있습니다.

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

구체적인 프로세스는 다음과 같습니다.

(i) "fps id" 및 "motion bucket id"의 벡터 조건은 Stable Video 3D와 관련이 없으므로 삭제합니다.

(ii) 조건부 이미지 통과 Stable Video Diffusion의 VAE 인코더는 잠재 공간에 삽입된 다음 UNet으로 이어지는 잡음 시간 간격 t에서 잡음 잠재 상태 입력 zt에 연결됩니다.

(iii) 조건부 이미지의 CLIPembedding 행렬이 제공됩니다. 각 변환기 블록에 대해 Cross-attention 레이어는 키와 값으로 작동하고 쿼리는 해당 레이어의 기능이 됩니다.

(iv) 카메라 궤적은 확산 노이즈 시간 단계를 따라 잔여 블록에 공급됩니다. 카메라 자세 각도 ei 및 ai와 잡음 시간 단계 t는 먼저 정현파 위치 임베딩에 삽입된 다음 선형 변환을 위해 카메라 자세 임베딩을 함께 연결하고 잡음 시간 단계 임베딩에 추가한 다음 마지막으로 각 잔여 블록과 블록의 입력 기능에 추가됩니다.

또한 Stability AI는 아래 그림 3과 같이 카메라 포즈 조정의 영향을 연구하기 위해 정적 궤도와 동적 궤도를 설계했습니다.

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

정적 궤도에서 카메라는 조건 이미지와 동일한 앙각을 사용하여 등거리 방위각으로 물체를 중심으로 회전합니다. 단점은 조정된 앙각에 따라 물체의 상단이나 하단에 대한 정보를 얻을 수 없다는 것입니다. 동적 궤도에서는 방위각이 동일하지 않을 수 있으며 각 뷰의 앙각도 다를 수 있습니다.

동적 궤도를 구축하기 위해 Stability AI는 정적 궤도를 샘플링하고 방위각에 작은 무작위 노이즈를 추가하고 고도에 다양한 주파수의 정현파의 무작위 가중치 조합을 추가합니다. 이렇게 하면 시간적 매끄러움이 제공되고 카메라 궤적이 조건 이미지와 동일한 방위각 및 고도 루프를 따라 끝나는 것을 보장합니다.

실험 결과

안정성 AI는 보이지 않는 GSO 및 OmniObject3D 데이터세트의 정적 및 동적 궤도에 대한 안정적인 비디오 3D 복합 멀티뷰 효과를 평가합니다. 아래 표 1~4에 표시된 결과는 Stable Video 3D가 새로운 다시점 합성에서 최첨단 성능을 달성했음을 보여줍니다.

표 1과 표 3은 정적 궤도의 다른 모델과 비교하여 Stable Video 3D의 결과를 보여 주며, 포즈 조정이 없는 모델 SV3D_u도 이전의 모든 방법보다 더 나은 성능을 발휘한다는 것을 보여줍니다.

Ablation 분석 결과에 따르면 SV3D_c 및 SV3D_p는 정적 궤적 생성에서 SV3D_u보다 성능이 우수하지만 후자는 정적 궤적에 대해서만 학습되었습니다.

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

아래 표 2와 표 4는 자세 조정 ​​모델 SV3D_c 및 SV3D_p를 포함한 동적 궤도의 생성 결과를 보여줍니다. 후자는 모든 측정 항목에서 SOTA를 달성합니다.

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

아래 그림 6의 시각적 비교 결과는 이전 작업과 비교하여 Stable Video 3D에서 생성된 이미지가 더 자세하고 조건부 이미지에 더 충실하며 여러 관점에서 더 일관적임을 보여줍니다. .

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

자세한 기술적 세부사항과 실험 결과는 원본 논문을 참조하세요.

위 내용은 Stable Video 3D는 충격적인 데뷔를 합니다. 단일 이미지로 사각지대가 없는 3D 비디오를 생성하고 모델 가중치가 공개됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

Chatgpt의 영향으로 국내 기술 Q & A 커뮤니티는 어떻게 통과 할 수 있습니까? Chatgpt의 영향으로 국내 기술 Q & A 커뮤니티는 어떻게 통과 할 수 있습니까? Apr 01, 2025 pm 05:18 PM

Chatgpt의 영향에 직면하여 국내 기술 Q & A 커뮤니티는 어떻게 대응 할 것인가? 최근 스택 ...

Flask 및 Yolov5에서 개발 한 HTML 페이지에서 카메라가 탐지 상자를 표시 할 수없는 문제를 해결하는 방법은 무엇입니까? Flask 및 Yolov5에서 개발 한 HTML 페이지에서 카메라가 탐지 상자를 표시 할 수없는 문제를 해결하는 방법은 무엇입니까? Apr 01, 2025 pm 06:33 PM

Flask 및 Yolov5에서 개발 한 HTML 웹 페이지에서 카메라를 성공적으로 열고 감지 상자를 표시하는 방법은 무엇입니까? Flask Framework 및 Yolov5를 사용하여 HTML 웹 페이지를 개발할 때 사진을 엽니 다 ...

Uvicorn은 Serving_forever ()없이 HTTP 요청을 어떻게 지속적으로 듣습니까? Uvicorn은 Serving_forever ()없이 HTTP 요청을 어떻게 지속적으로 듣습니까? Apr 01, 2025 pm 10:51 PM

Uvicorn은 HTTP 요청을 어떻게 지속적으로 듣습니까? Uvicorn은 ASGI를 기반으로 한 가벼운 웹 서버입니다. 핵심 기능 중 하나는 HTTP 요청을 듣고 진행하는 것입니다 ...

셀레늄으로 로그인 한 후 404 오류를 리디렉션하는 이유는 무엇입니까? 그것을 해결하는 방법? 셀레늄으로 로그인 한 후 404 오류를 리디렉션하는 이유는 무엇입니까? 그것을 해결하는 방법? Apr 01, 2025 pm 10:54 PM

솔루션 시뮬레이션 로그인을 위해 Selenium을 사용할 때 시뮬레이션 로그인 후 404 오류 리디렉션에 대한 솔루션은 종종 어려운 문제가 발생합니다. � ...

문자열을 통해 객체를 동적으로 생성하고 방법을 파이썬으로 호출하는 방법은 무엇입니까? 문자열을 통해 객체를 동적으로 생성하고 방법을 파이썬으로 호출하는 방법은 무엇입니까? Apr 01, 2025 pm 11:18 PM

파이썬에서 문자열을 통해 객체를 동적으로 생성하고 메소드를 호출하는 방법은 무엇입니까? 특히 구성 또는 실행 해야하는 경우 일반적인 프로그래밍 요구 사항입니다.

웹 페이지 데이터를 얻을 때 동적로드 컨텐츠 누락 문제를 해결하는 방법은 무엇입니까? 웹 페이지 데이터를 얻을 때 동적로드 컨텐츠 누락 문제를 해결하는 방법은 무엇입니까? Apr 01, 2025 pm 11:24 PM

요청 라이브러리를 사용하여 웹 페이지 데이터를 크롤링 할 때 문제 및 솔루션이 발생합니다. 요청 라이브러리를 사용하여 웹 페이지 데이터를 얻을 때 때때로 ...

Go 또는 Rust를 사용하여 Python 스크립트를 호출하여 실제 병렬 실행을 달성하는 방법은 무엇입니까? Go 또는 Rust를 사용하여 Python 스크립트를 호출하여 실제 병렬 실행을 달성하는 방법은 무엇입니까? Apr 01, 2025 pm 11:39 PM

Go 또는 Rust를 사용하여 Python 스크립트를 호출하여 실제 병렬 실행을 달성하는 방법은 무엇입니까? 최근에 나는 파이썬을 사용하고 있습니다 ...

Chatgpt 시대에는 기술 Q & A 커뮤니티가 어떻게 도전에 대응할 수 있습니까? Chatgpt 시대에는 기술 Q & A 커뮤니티가 어떻게 도전에 대응할 수 있습니까? Apr 01, 2025 pm 11:51 PM

Chatgpt 시대의 기술 Q & A 커뮤니티 : Segmentfault의 응답 전략 stackoverflow ...

See all articles