목차
3D 생성을 위한 비디오 확산 모델 사용
실험 결과
기술 주변기기 일체 포함 안정성 AI 오픈 소스 새 릴리스: 3D 생성에 비디오 확산 모델 도입, 품질 일관성 향상, 4090 재생 가능

안정성 AI 오픈 소스 새 릴리스: 3D 생성에 비디오 확산 모델 도입, 품질 일관성 향상, 4090 재생 가능

Mar 20, 2024 pm 02:25 PM
일체 포함 키 값 쌍 AI 오픈소스

Stable Diffusion을 개발한 회사인 Stability AI가 새로운 것을 출시했습니다.

이번에는 그래픽 3D의 새로운 발전이 이루어졌습니다.

Stable Video Diffusion을 기반으로 한 SV3D(Stable Video 3D)는 단 하나의 사진으로 고품질 3D 메시를 생성할 수 있습니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

SVD(Stable Video Diffusion)는 고해상도 비디오 생성을 위해 Stability AI가 이전에 출시한 모델입니다. SV3D의 등장은 영상 확산 모델이 3D 생성 분야에 성공적으로 적용된 최초의 사례입니다.

이를 바탕으로 SV3D는 3D 생성의 품질과 뷰 일관성을 크게 향상시켰다고 공식적으로 밝혔습니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

모델 가중치는 여전히 오픈 소스이지만, 비상업적 목적으로만 사용할 수 있습니다. 상업적으로 사용하려면 Stability AI 멤버십을 구매해야 합니다~

더 이상 고민하지 마세요. 논문의 세부 사항을 살펴보십시오.

3D 생성을 위한 비디오 확산 모델 사용

잠재 비디오 확산 모델을 소개하는 SV3D의 핵심 목적은 비디오 모델의 시간적 일관성을 사용하여 3D 생성의 일관성을 향상시키는 것입니다.

그리고 영상 데이터 자체도 3D 데이터보다 구하기 쉽습니다.

안정성 AI는 이번에 두 가지 버전의 SV3D를 제공합니다.

  • SV3D_u: 단일 이미지를 기반으로 궤도 비디오를 생성합니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

  • SV3D_p: SV3D_u의 기능을 확장하여 지정된 카메라 경로를 기반으로 3D 모델 비디오를 생성합니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

연구원들은 또한 3D 최적화 기술을 개선했습니다. 즉, 대략적인 학습 전략을 사용하고 NeRF 및 DMTet 메시를 최적화하여 3D 개체를 생성했습니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

또한 훈련 데이터에 직접 표시되지 않는 영역을 최적화하여 생성된 3D 모델의 품질과 일관성을 향상시키기 위해 마스크된 점수 증류 샘플링(SDS)이라는 특수 손실 함수를 설계했습니다.

동시에 SV3D는 조명 효과와 텍스처를 분리하기 위해 구형 가우시안 기반의 조명 모델을 도입하여 텍스처 선명도를 유지하면서 내장 조명 문제를 효과적으로 줄입니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

특히 아키텍처 측면에서 SV3D에는 다음과 같은 주요 구성 요소가 포함되어 있습니다.

  • UNet: SV3D는 SVD를 기반으로 구축되었으며 각 레이어에는 일련의 잔여 블록(포함)이 있는 다중 레이어 UNet이 포함되어 있습니다. 3D 컨볼루션 레이어) 및 공간 정보와 시간 정보를 각각 처리하는 두 개의 변환기 모듈이 있습니다.
  • 조건부 입력: 입력 이미지는 VAE 인코더를 통해 잠재 공간에 삽입되고 잡음 잠재 상태와 병합되어 UNet에 함께 입력됩니다. 입력 이미지의 CLIP 삽입 매트릭스는 각 Transformer 모듈 크로스의 키로 사용됩니다. -attention 레이어 값 쌍.
  • 카메라 궤적 인코딩: SV3D는 카메라 자세 조건의 영향을 연구하기 위해 정적 및 동적의 두 가지 유형의 궤적을 설계했습니다. 정적 궤도에서 카메라는 규칙적인 간격의 방위각으로 물체를 둘러싸고, 동적 궤도에서는 카메라가 불규칙한 간격의 방위각과 다양한 앙각을 허용합니다.

카메라의 모션 궤적 정보와 확산 노이즈의 시간 정보가 함께 잔여 모듈에 입력되어 정현파 위치 임베딩으로 변환됩니다. 그런 다음 이러한 임베딩 정보가 통합되고 선형 변환되어 노이즈 시간에 추가됩니다. 단계 삽입.

이러한 디자인은 카메라 궤적과 노이즈 입력을 미세하게 제어하여 모델의 이미지 처리 능력을 향상시키는 것을 목표로 합니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

또한 SV3D는 생성 프로세스 중에 CFG(분류자 없는 안내)를 사용하여 생성의 선명도를 제어합니다. 특히 트랙의 마지막 몇 프레임을 생성할 때 삼각형 CFG 스케일링을 사용하여 과도한 선명도를 방지합니다. .

연구원들은 Objaverse 데이터 세트에서 575×576의 이미지 해상도와 33.8도의 시야를 사용하여 SV3D를 훈련했습니다. 이 논문에서는 세 가지 모델(SV3D_u, SV3D_c, SV3D_p) 모두 4개의 노드에서 약 6일 동안 훈련되었으며 각 노드에는 8개의 80GB A100 GPU가 장착되어 있음이 밝혀졌습니다.

실험 결과

새로운 관점 합성(NVS) 및 3D 재구성 측면에서 SV3D는 기존의 다른 방법을 능가하여 SOTA에 도달했습니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩
Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

정성적 비교 결과에 따르면 SV3D에서 생성된 다시점 뷰는 더 풍부한 디테일을 가지며 원본 입력 이미지에 더 가깝습니다. 즉, SV3D는 사물의 3차원 구조를 이해하고 재구성하는데 있어 보는 각도 변화 시 세부 사항을 보다 정확하게 포착하고 일관성을 유지할 수 있습니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

이러한 결과는 많은 네티즌들의 감정을 불러일으켰습니다.

향후 6~12개월 내에 3D 생성 기술이 게임 및 비디오 프로젝트에 사용될 것으로 예상됩니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

댓글 영역에는 항상 대담한 아이디어가 있습니다...

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

그리고 이 프로젝트는 오픈 소스입니다. 첫 번째 친구들은 이미 이 게임을 플레이했고 4090에서 실행할 수 있습니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

참조 링크:
[1]https://twitter.com/StabilityAI/status/1769817136799855098.
[2]https://stability.ai/news/introducing-stable-video-3d.
[3]https://sv3d.github.io/index.html.

위 내용은 안정성 AI 오픈 소스 새 릴리스: 3D 생성에 비디오 확산 모델 도입, 품질 일관성 향상, 4090 재생 가능의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

vue.js 문자열을 물체로 변환하는 방법은 무엇입니까? vue.js 문자열을 물체로 변환하는 방법은 무엇입니까? Apr 07, 2025 pm 09:18 PM

json.parse () String을 개체에 사용하는 것이 가장 안전하고 효율적입니다. 문자열이 JSON 사양을 준수하고 일반적인 오류를 피하십시오. 코드 견고성을 향상시키기 위해 예외를 처리하려면 시도해보십시오. 보안 위험이있는 Eval () 메소드를 사용하지 마십시오. 거대한 JSON 줄의 경우 성능을 최적화하기 위해 청크 파싱 또는 비동기 구문 분석을 고려할 수 있습니다.

최초의 완전 자동화된 과학적 발견 AI 시스템, Transformer 저자 스타트업 Sakana AI, AI 과학자 출시 최초의 완전 자동화된 과학적 발견 AI 시스템, Transformer 저자 스타트업 Sakana AI, AI 과학자 출시 Aug 13, 2024 pm 04:43 PM

Editor | ScienceAI 1년 전, Google Transformer 논문의 마지막 저자인 Llion Jones는 사업을 시작하기 위해 회사를 떠나 전 Google 연구원 David Ha와 함께 인공지능 회사 SakanaAI를 공동 설립했습니다. SakanaAI는 자연에서 영감을 받은 지능을 기반으로 새로운 기본 모델을 만든다고 주장합니다! 이제 SakanaAI가 답안지를 제출했습니다. SakanaAI는 자동화된 과학 연구 및 공개 발견을 위한 세계 최초의 AI 시스템인 AIScientist의 출시를 발표합니다! AIScientist는 구상, 코드 작성, 실험 실행 및 결과 요약부터 전체 논문 작성 및 동료 검토 수행에 이르기까지 AI 기반 과학 연구 및 가속화를 실현합니다.

HyperOS 2.0은 Xiaomi 15에서 데뷔하며 AI가 초점입니다. HyperOS 2.0은 Xiaomi 15에서 데뷔하며 AI가 초점입니다. Sep 01, 2024 pm 03:39 PM

최근 Xiaomi가 10월에 매우 기대되는 HyperOS 2.0 버전을 출시할 것이라는 뉴스가 나왔습니다. 1.HyperOS2.0은 샤오미 15 스마트폰과 동시에 출시될 것으로 예상됩니다. HyperOS 2.0은 특히 사진 및 비디오 편집 분야에서 AI 기능을 크게 향상시킵니다. HyperOS2.0은 더욱 현대적이고 세련된 사용자 인터페이스(UI)를 제공하여 더욱 부드럽고 명확하며 아름다운 시각 효과를 제공합니다. HyperOS 2.0 업데이트에는 향상된 멀티태스킹 기능, 향상된 알림 관리, 더 많은 홈 화면 사용자 정의 옵션 등 다양한 사용자 인터페이스 개선 사항도 포함되어 있습니다. HyperOS 2.0의 출시는 Xiaomi의 기술적 강점을 보여줄 뿐만 아니라 스마트폰 운영 체제의 미래에 대한 비전이기도 합니다.

전 구글 CEO 슈미트(Schmidt)는 놀라운 말을 했다: AI 기업가 정신은 먼저 '훔쳐지고' 나중에 '처리'될 수 있다 전 구글 CEO 슈미트(Schmidt)는 놀라운 말을 했다: AI 기업가 정신은 먼저 '훔쳐지고' 나중에 '처리'될 수 있다 Aug 15, 2024 am 11:53 AM

15일 본 사이트 소식에 따르면 어제 스탠퍼드대에서 구글 전 CEO이자 회장인 에릭 슈미트가 한 연설은 큰 논란을 불러일으켰다. 그는 구글 직원들이 “승리보다 재택근무가 더 중요하다”고 믿는다고 해 논란을 일으킨 데 이어, 향후 인공지능 발전을 언급하면서 AI 스타트업이 먼저 AI 도구를 통해 지적재산권(IP)을 훔칠 수 있다고 공개적으로 밝혔다. 그런 다음 변호사를 고용하여 법적 분쟁을 처리합니다. Schmidt는 TikTok 금지의 영향에 대해 이야기합니다. Schmidt는 짧은 비디오 플랫폼인 TikTok을 예로 들어 TikTok이 금지되면 누구나 AI를 사용하여 유사한 애플리케이션을 생성하고 모든 사용자, 모든 음악 및 기타 콘텐츠를 직접 훔칠 수 있다고 주장합니다(MakemeacopyofTikTok). , 훔치기

브라우저 탭을 닫고 JavaScript를 사용하여 전체 브라우저를 닫는 것을 구별하는 방법은 무엇입니까? 브라우저 탭을 닫고 JavaScript를 사용하여 전체 브라우저를 닫는 것을 구별하는 방법은 무엇입니까? Apr 04, 2025 pm 10:21 PM

브라우저에서 JavaScript를 사용하여 닫기 탭과 전체 브라우저를 닫는 방법을 구별하는 방법은 무엇입니까? 브라우저를 매일 사용하는 동안 사용자는 ...

hadidb : 파이썬의 가볍고 수평 확장 가능한 데이터베이스 hadidb : 파이썬의 가볍고 수평 확장 가능한 데이터베이스 Apr 08, 2025 pm 06:12 PM

HADIDB : 가볍고 높은 수준의 확장 가능한 Python 데이터베이스 HadIDB (HADIDB)는 파이썬으로 작성된 경량 데이터베이스이며 확장 수준이 높습니다. PIP 설치를 사용하여 HADIDB 설치 : PIPINSTALLHADIDB 사용자 관리 사용자 만들기 사용자 : createUser () 메소드를 작성하여 새 사용자를 만듭니다. Authentication () 메소드는 사용자의 신원을 인증합니다. Fromhadidb.operationimportuseruser_obj = user ( "admin", "admin") user_obj.

C 언어 데이터 구조 : 인공 지능에서 데이터 구조의 핵심 역할 C 언어 데이터 구조 : 인공 지능에서 데이터 구조의 핵심 역할 Apr 04, 2025 am 10:45 AM

C 언어 데이터 구조 : 인공 지능 분야에서 데이터 구조의 주요 역할 개요 인공 지능 분야에서 데이터 구조는 다량의 데이터를 처리하는 데 중요합니다. 데이터 구조는 데이터를 구성하고 관리하고 알고리즘을 최적화하며 프로그램 효율성을 향상시키는 효과적인 방법을 제공합니다. 공통 데이터 구조는 일반적으로 C 언어로 사용되는 데이터 구조에는 다음이 포함됩니다. 배열 : 동일한 유형의 연속 저장된 데이터 항목 세트. 구조 : 다양한 유형의 데이터를 함께 구성하고 이름을 제공하는 데이터 유형. 링크 된 목록 : 데이터 항목이 포인터로 함께 연결되는 선형 데이터 구조. 스택 : 최후의 첫 번째 (LIFO) 원칙을 따르는 데이터 구조. 대기열 : 첫 번째 첫 번째 (FIFO) 원칙을 따르는 데이터 구조. 실제 사례 : 그래프 이론의 인접 테이블은 인공 지능입니다.

vue.js의 객체로 문자열을 변환하는 데 어떤 방법이 사용됩니까? vue.js의 객체로 문자열을 변환하는 데 어떤 방법이 사용됩니까? Apr 07, 2025 pm 09:39 PM

표준 JSON 문자열의 경우 vue.js의 객체로 문자열을 변환 할 때 JSON.PARSE ()가 선호됩니다. 비표준 JSON 문자열의 경우, 정규 표현식을 사용하여 문자열을 처리하고 형식 또는 디코딩 된 URL 인코딩에 따라 방법을 줄일 수 있습니다. 문자열 형식에 따라 적절한 방법을 선택하고 버그를 피하기 위해 보안 및 인코딩 문제에주의를 기울이십시오.

See all articles