목차
3D 생성을 위한 비디오 확산 모델 사용
실험 결과
기술 주변기기 일체 포함 안정성 AI 오픈 소스 새 릴리스: 3D 생성에 비디오 확산 모델 도입, 품질 일관성 향상, 4090 재생 가능

안정성 AI 오픈 소스 새 릴리스: 3D 생성에 비디오 확산 모델 도입, 품질 일관성 향상, 4090 재생 가능

Mar 20, 2024 pm 02:25 PM
일체 포함 키 값 쌍 AI 오픈소스

Stable Diffusion을 개발한 회사인 Stability AI가 새로운 것을 출시했습니다.

이번에는 그래픽 3D의 새로운 발전이 이루어졌습니다.

Stable Video Diffusion을 기반으로 한 SV3D(Stable Video 3D)는 단 하나의 사진으로 고품질 3D 메시를 생성할 수 있습니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

SVD(Stable Video Diffusion)는 고해상도 비디오 생성을 위해 Stability AI가 이전에 출시한 모델입니다. SV3D의 등장은 영상 확산 모델이 3D 생성 분야에 성공적으로 적용된 최초의 사례입니다.

이를 바탕으로 SV3D는 3D 생성의 품질과 뷰 일관성을 크게 향상시켰다고 공식적으로 밝혔습니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

모델 가중치는 여전히 오픈 소스이지만, 비상업적 목적으로만 사용할 수 있습니다. 상업적으로 사용하려면 Stability AI 멤버십을 구매해야 합니다~

더 이상 고민하지 마세요. 논문의 세부 사항을 살펴보십시오.

3D 생성을 위한 비디오 확산 모델 사용

잠재 비디오 확산 모델을 소개하는 SV3D의 핵심 목적은 비디오 모델의 시간적 일관성을 사용하여 3D 생성의 일관성을 향상시키는 것입니다.

그리고 영상 데이터 자체도 3D 데이터보다 구하기 쉽습니다.

안정성 AI는 이번에 두 가지 버전의 SV3D를 제공합니다.

  • SV3D_u: 단일 이미지를 기반으로 궤도 비디오를 생성합니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

  • SV3D_p: SV3D_u의 기능을 확장하여 지정된 카메라 경로를 기반으로 3D 모델 비디오를 생성합니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

연구원들은 또한 3D 최적화 기술을 개선했습니다. 즉, 대략적인 학습 전략을 사용하고 NeRF 및 DMTet 메시를 최적화하여 3D 개체를 생성했습니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

또한 훈련 데이터에 직접 표시되지 않는 영역을 최적화하여 생성된 3D 모델의 품질과 일관성을 향상시키기 위해 마스크된 점수 증류 샘플링(SDS)이라는 특수 손실 함수를 설계했습니다.

동시에 SV3D는 조명 효과와 텍스처를 분리하기 위해 구형 가우시안 기반의 조명 모델을 도입하여 텍스처 선명도를 유지하면서 내장 조명 문제를 효과적으로 줄입니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

특히 아키텍처 측면에서 SV3D에는 다음과 같은 주요 구성 요소가 포함되어 있습니다.

  • UNet: SV3D는 SVD를 기반으로 구축되었으며 각 레이어에는 일련의 잔여 블록(포함)이 있는 다중 레이어 UNet이 포함되어 있습니다. 3D 컨볼루션 레이어) 및 공간 정보와 시간 정보를 각각 처리하는 두 개의 변환기 모듈이 있습니다.
  • 조건부 입력: 입력 이미지는 VAE 인코더를 통해 잠재 공간에 삽입되고 잡음 잠재 상태와 병합되어 UNet에 함께 입력됩니다. 입력 이미지의 CLIP 삽입 매트릭스는 각 Transformer 모듈 크로스의 키로 사용됩니다. -attention 레이어 값 쌍.
  • 카메라 궤적 인코딩: SV3D는 카메라 자세 조건의 영향을 연구하기 위해 정적 및 동적의 두 가지 유형의 궤적을 설계했습니다. 정적 궤도에서 카메라는 규칙적인 간격의 방위각으로 물체를 둘러싸고, 동적 궤도에서는 카메라가 불규칙한 간격의 방위각과 다양한 앙각을 허용합니다.

카메라의 모션 궤적 정보와 확산 노이즈의 시간 정보가 함께 잔여 모듈에 입력되어 정현파 위치 임베딩으로 변환됩니다. 그런 다음 이러한 임베딩 정보가 통합되고 선형 변환되어 노이즈 시간에 추가됩니다. 단계 삽입.

이러한 디자인은 카메라 궤적과 노이즈 입력을 미세하게 제어하여 모델의 이미지 처리 능력을 향상시키는 것을 목표로 합니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

또한 SV3D는 생성 프로세스 중에 CFG(분류자 없는 안내)를 사용하여 생성의 선명도를 제어합니다. 특히 트랙의 마지막 몇 프레임을 생성할 때 삼각형 CFG 스케일링을 사용하여 과도한 선명도를 방지합니다. .

연구원들은 Objaverse 데이터 세트에서 575×576의 이미지 해상도와 33.8도의 시야를 사용하여 SV3D를 훈련했습니다. 이 논문에서는 세 가지 모델(SV3D_u, SV3D_c, SV3D_p) 모두 4개의 노드에서 약 6일 동안 훈련되었으며 각 노드에는 8개의 80GB A100 GPU가 장착되어 있음이 밝혀졌습니다.

실험 결과

새로운 관점 합성(NVS) 및 3D 재구성 측면에서 SV3D는 기존의 다른 방법을 능가하여 SOTA에 도달했습니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩
Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

정성적 비교 결과에 따르면 SV3D에서 생성된 다시점 뷰는 더 풍부한 디테일을 가지며 원본 입력 이미지에 더 가깝습니다. 즉, SV3D는 사물의 3차원 구조를 이해하고 재구성하는데 있어 보는 각도 변화 시 세부 사항을 보다 정확하게 포착하고 일관성을 유지할 수 있습니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

이러한 결과는 많은 네티즌들의 감정을 불러일으켰습니다.

향후 6~12개월 내에 3D 생성 기술이 게임 및 비디오 프로젝트에 사용될 것으로 예상됩니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

댓글 영역에는 항상 대담한 아이디어가 있습니다...

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

그리고 이 프로젝트는 오픈 소스입니다. 첫 번째 친구들은 이미 이 게임을 플레이했고 4090에서 실행할 수 있습니다.

Stability AI开源上新:3D生成引入视频扩散模型,质量一致性up,4090可玩

참조 링크:
[1]https://twitter.com/StabilityAI/status/1769817136799855098.
[2]https://stability.ai/news/introducing-stable-video-3d.
[3]https://sv3d.github.io/index.html.

위 내용은 안정성 AI 오픈 소스 새 릴리스: 3D 생성에 비디오 확산 모델 도입, 품질 일관성 향상, 4090 재생 가능의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

Bytedance Cutting, SVIP 슈퍼 멤버십 출시: 연간 연속 구독료 499위안, 다양한 AI 기능 제공 Bytedance Cutting, SVIP 슈퍼 멤버십 출시: 연간 연속 구독료 499위안, 다양한 AI 기능 제공 Jun 28, 2024 am 03:51 AM

이 사이트는 6월 27일에 Jianying이 ByteDance의 자회사인 FaceMeng Technology에서 개발한 비디오 편집 소프트웨어라고 보도했습니다. 이 소프트웨어는 Douyin 플랫폼을 기반으로 하며 기본적으로 플랫폼 사용자를 위한 짧은 비디오 콘텐츠를 제작합니다. Windows, MacOS 및 기타 운영 체제. Jianying은 멤버십 시스템 업그레이드를 공식 발표하고 지능형 번역, 지능형 하이라이트, 지능형 패키징, 디지털 인간 합성 등 다양한 AI 블랙 기술을 포함하는 새로운 SVIP를 출시했습니다. 가격면에서 SVIP 클리핑 월 요금은 79위안, 연간 요금은 599위안(본 사이트 참고: 월 49.9위안에 해당), 월간 연속 구독료는 월 59위안, 연간 연속 구독료는 59위안입니다. 연간 499위안(월 41.6위안)입니다. 또한, 컷 관계자는 "사용자 경험 향상을 위해 기존 VIP에 가입하신 분들도

Rag 및 Sem-Rag를 사용한 상황 증강 AI 코딩 도우미 Rag 및 Sem-Rag를 사용한 상황 증강 AI 코딩 도우미 Jun 10, 2024 am 11:08 AM

검색 강화 생성 및 의미론적 메모리를 AI 코딩 도우미에 통합하여 개발자 생산성, 효율성 및 정확성을 향상시킵니다. EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG에서 번역됨, 저자 JanakiramMSV. 기본 AI 프로그래밍 도우미는 자연스럽게 도움이 되지만, 소프트웨어 언어에 대한 일반적인 이해와 소프트웨어 작성의 가장 일반적인 패턴에 의존하기 때문에 가장 관련성이 높고 정확한 코드 제안을 제공하지 못하는 경우가 많습니다. 이러한 코딩 도우미가 생성한 코드는 자신이 해결해야 할 문제를 해결하는 데 적합하지만 개별 팀의 코딩 표준, 규칙 및 스타일을 따르지 않는 경우가 많습니다. 이로 인해 코드가 애플리케이션에 승인되기 위해 수정되거나 개선되어야 하는 제안이 나타나는 경우가 많습니다.

7가지 멋진 GenAI 및 LLM 기술 인터뷰 질문 7가지 멋진 GenAI 및 LLM 기술 인터뷰 질문 Jun 07, 2024 am 10:06 AM

AIGC에 대해 자세히 알아보려면 다음을 방문하세요. 51CTOAI.x 커뮤니티 https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou는 인터넷 어디에서나 볼 수 있는 전통적인 문제 은행과 다릅니다. 고정관념에서 벗어나 생각해야 합니다. LLM(대형 언어 모델)은 데이터 과학, 생성 인공 지능(GenAI) 및 인공 지능 분야에서 점점 더 중요해지고 있습니다. 이러한 복잡한 알고리즘은 인간의 기술을 향상시키고 많은 산업 분야에서 효율성과 혁신을 촉진하여 기업이 경쟁력을 유지하는 데 핵심이 됩니다. LLM은 자연어 처리, 텍스트 생성, 음성 인식 및 추천 시스템과 같은 분야에서 광범위하게 사용될 수 있습니다. LLM은 대량의 데이터로부터 학습하여 텍스트를 생성할 수 있습니다.

미세 조정을 통해 LLM이 실제로 새로운 것을 배울 수 있습니까? 새로운 지식을 도입하면 모델이 더 많은 환각을 생성할 수 있습니다. 미세 조정을 통해 LLM이 실제로 새로운 것을 배울 수 있습니까? 새로운 지식을 도입하면 모델이 더 많은 환각을 생성할 수 있습니다. Jun 11, 2024 pm 03:57 PM

LLM(대형 언어 모델)은 대규모 텍스트 데이터베이스에서 훈련되어 대량의 실제 지식을 습득합니다. 이 지식은 매개변수에 내장되어 필요할 때 사용할 수 있습니다. 이러한 모델에 대한 지식은 훈련이 끝나면 "구체화"됩니다. 사전 훈련이 끝나면 모델은 실제로 학습을 중단합니다. 모델을 정렬하거나 미세 조정하여 이 지식을 활용하고 사용자 질문에 보다 자연스럽게 응답하는 방법을 알아보세요. 그러나 때로는 모델 지식만으로는 충분하지 않을 때도 있으며, 모델이 RAG를 통해 외부 콘텐츠에 접근할 수 있더라도 미세 조정을 통해 모델을 새로운 도메인에 적응시키는 것이 유익한 것으로 간주됩니다. 이러한 미세 조정은 인간 주석 작성자 또는 기타 LLM 생성자의 입력을 사용하여 수행됩니다. 여기서 모델은 추가적인 실제 지식을 접하고 이를 통합합니다.

대형 모델에 대한 새로운 과학적이고 복잡한 질문 답변 벤치마크 및 평가 시스템을 제공하기 위해 UNSW, Argonne, University of Chicago 및 기타 기관이 공동으로 SciQAG 프레임워크를 출시했습니다. 대형 모델에 대한 새로운 과학적이고 복잡한 질문 답변 벤치마크 및 평가 시스템을 제공하기 위해 UNSW, Argonne, University of Chicago 및 기타 기관이 공동으로 SciQAG 프레임워크를 출시했습니다. Jul 25, 2024 am 06:42 AM

편집자 |ScienceAI 질문 응답(QA) 데이터 세트는 자연어 처리(NLP) 연구를 촉진하는 데 중요한 역할을 합니다. 고품질 QA 데이터 세트는 모델을 미세 조정하는 데 사용될 수 있을 뿐만 아니라 LLM(대형 언어 모델)의 기능, 특히 과학적 지식을 이해하고 추론하는 능력을 효과적으로 평가하는 데에도 사용할 수 있습니다. 현재 의학, 화학, 생물학 및 기타 분야를 포괄하는 과학적인 QA 데이터 세트가 많이 있지만 이러한 데이터 세트에는 여전히 몇 가지 단점이 있습니다. 첫째, 데이터 형식이 비교적 단순하고 대부분이 객관식 질문이므로 평가하기 쉽지만 모델의 답변 선택 범위가 제한되고 모델의 과학적 질문 답변 능력을 완전히 테스트할 수 없습니다. 이에 비해 개방형 Q&A는

SOTA 성능, 샤먼 다중 모드 단백질-리간드 친화성 예측 AI 방법, 최초로 분자 표면 정보 결합 SOTA 성능, 샤먼 다중 모드 단백질-리간드 친화성 예측 AI 방법, 최초로 분자 표면 정보 결합 Jul 17, 2024 pm 06:37 PM

Editor | KX 약물 연구 및 개발 분야에서 단백질과 리간드의 결합 친화도를 정확하고 효과적으로 예측하는 것은 약물 스크리닝 및 최적화에 매우 중요합니다. 그러나 현재 연구에서는 단백질-리간드 상호작용에서 분자 표면 정보의 중요한 역할을 고려하지 않습니다. 이를 기반으로 Xiamen University의 연구자들은 처음으로 단백질 표면, 3D 구조 및 서열에 대한 정보를 결합하고 교차 주의 메커니즘을 사용하여 다양한 양식 특징을 비교하는 새로운 다중 모드 특징 추출(MFE) 프레임워크를 제안했습니다. 조정. 실험 결과는 이 방법이 단백질-리간드 결합 친화도를 예측하는 데 있어 최첨단 성능을 달성한다는 것을 보여줍니다. 또한 절제 연구는 이 프레임워크 내에서 단백질 표면 정보와 다중 모드 기능 정렬의 효율성과 필요성을 보여줍니다. 관련 연구는 "S"로 시작된다

당신이 모르는 머신러닝의 5가지 학교 당신이 모르는 머신러닝의 5가지 학교 Jun 05, 2024 pm 08:51 PM

머신 러닝은 명시적으로 프로그래밍하지 않고도 컴퓨터가 데이터로부터 학습하고 능력을 향상시킬 수 있는 능력을 제공하는 인공 지능의 중요한 분야입니다. 머신러닝은 이미지 인식, 자연어 처리, 추천 시스템, 사기 탐지 등 다양한 분야에서 폭넓게 활용되며 우리의 삶의 방식을 변화시키고 있습니다. 기계 학습 분야에는 다양한 방법과 이론이 있으며, 그 중 가장 영향력 있는 5가지 방법을 "기계 학습의 5개 학교"라고 합니다. 5개 주요 학파는 상징학파, 연결주의 학파, 진화학파, 베이지안 학파, 유추학파이다. 1. 상징주의라고도 알려진 상징주의는 논리적 추론과 지식 표현을 위해 상징을 사용하는 것을 강조합니다. 이 사고 학교는 학습이 기존을 통한 역연역 과정이라고 믿습니다.

SK하이닉스가 8월 6일 12단 HBM3E, 321고 NAND 등 AI 관련 신제품을 선보인다. SK하이닉스가 8월 6일 12단 HBM3E, 321고 NAND 등 AI 관련 신제품을 선보인다. Aug 01, 2024 pm 09:40 PM

1일 본 사이트 소식에 따르면 SK하이닉스는 오늘(1일) 블로그 게시물을 통해 8월 6일부터 8일까지 미국 캘리포니아주 산타클라라에서 열리는 글로벌 반도체 메모리 서밋 FMS2024에 참가한다고 밝혔다. 많은 새로운 세대의 제품. 인공지능 기술에 대한 관심이 높아지고 있는 가운데, 이전에는 주로 NAND 공급업체를 대상으로 한 플래시 메모리 서밋(FlashMemorySummit)이었던 미래 메모리 및 스토리지 서밋(FutureMemoryandStorage) 소개를 올해는 미래 메모리 및 스토리지 서밋(FutureMemoryandStorage)으로 명칭을 변경했습니다. DRAM 및 스토리지 공급업체와 더 많은 플레이어를 초대하세요. SK하이닉스가 지난해 출시한 신제품

See all articles