3D 모델 텍스처 매핑을 30초 안에 간단하고 효율적으로 쉽게 완성하세요!

확산 모델을 사용하여 3D 개체의 텍스처를 생성하세요단 한 문장으로 가능합니다!

"갈색과 검정색 기하학적 무늬가 있는 의자"라고 입력하면 확산 모델이 즉시 고대의 질감을 추가하여 시대적 느낌을 줍니다

AI는 즉시 상상할 수 있습니다. 바탕 화면에 상세한 나무 질감을 추가하고, 바탕 화면의 모습을 보여주지 않고 스크린샷만 찍더라도

3D 개체에 질감을 추가하는은 "색상 변경"만큼 간단하지 않다는 것을 알아야 합니다.

재료를 디자인할 때 거칠기, 반사, 투명도, 소용돌이, 블룸과 같은 여러 매개변수를 고려해야 합니다. 좋은 효과를 디자인하기 위해서는 재료, 조명, 렌더링 등에 대한 지식을 이해해야 할 뿐만 아니라 렌더링 테스트와 수정을 반복적으로 수행해야 합니다. 재질이 변경되면 디자인을 다시 시작해야 할 수도 있습니다

다시 작성해야 하는 내용은 게임 장면에서 텍스처 손실이 미치는 영향입니다

그러나 이전에 인공 지능을 사용하여 디자인한 텍스처는 이상적이지 않습니다. 텍스처링은 항상 시간이 많이 걸리고 노동 집약적인 작업이었으며 이로 인해 비용도 많이 발생했습니다.

HKU, 홍콩 중국인 및 TCL의 연구원은 최근 3D 텍스처를 디자인하기 위한 새로운 인공 지능 방법을 개발했습니다. 사물. 이 방법은 물체의 원래 형태를 완벽하게 유지할 수 있을 뿐만 아니라 물체의 표면에 완벽하게 어울리는 보다 사실적인 질감을 디자인할 수 있습니다. 본 연구는 ICCV 2023에 구두 보고서로 포함되었습니다. 작성된 내용은 다음과 같습니다: 이 문제에 대한 해결책은 무엇입니까? 함께 살펴보시죠

확산모델을 이용해 한 문장으로 3D 텍스처를 얻을 수 있습니다

이전에는 인공지능을 이용해 3D 텍스처를 디자인할 때 크게 두 가지 문제가 있었습니다

생성된 텍스처는 비현실적이고 디테일이 제한적이었습니다

생성 과정에서 3D 객체 자체의 기하학적 구조에 특수 처리가 이루어지기 때문에 생성된 텍스처가 원본 객체에 완벽하게 들어맞지 못하고 이상한 모양이 "튀어나오게" 됩니다.

따라서 3D 물체의 구조를 보장하기 위해 본 연구에서는 상세하고 사실적인 질감을 안정적으로 동시에 생성하기 위해

Point-UV 확산

이라는 프레임워크를 설계했습니다.

이 프레임워크에는 "대략 설계"와 "마무리"라는 두 가지 모듈이 포함되어 있으며 둘 다 확산 모델

을 기반으로 하지만 둘에 사용되는 확산 모델은 다릅니다.

먼저 "대략 설계" 모듈에서는 형상 특징 (표면 법선, 좌표 및 마스크 포함)

을 입력 조건으로 사용하여 객체 형상의 각 점 색상을 예측하는 3D 확산 모델을 학습하여 대략적인 디자인을 생성합니다. 텍스처 이미지 효과:

"Finishing" 모듈에서는 2D 확산 모델도 이전에 생성된 거친 텍스처 이미지와 개체 모양을 입력 조건으로 활용하여 더욱 세련된 Texture를 생성하도록 설계되었습니다.

이유 이 설계 구조를 채택한 이유는 이전 고해상도 포인트 클라우드 생성 방법의 계산 비용이 일반적으로 너무 높다는 것입니다

이 2단계 생성 방법을 사용하면 계산 비용을 절약할 수 있을 뿐만 아니라 두 가지 확산 모델을 사용할 수 있습니다. 각각의 역할을 수행할 수 있으며, 이전 방식에 비해 원본 3D 객체의 구조를 유지할 뿐만 아니라 생성된 텍스처도 더욱 정교해졌습니다

텍스트나 그림을 입력하여 생성 효과를 제어하는 ​​것은 CLIP

의 "기여".

원래 의미가 변하지 않도록 내용을 중국어로 다시 작성해야 합니다. 다시 작성해야 할 것은 입력의 경우 먼저 사전 훈련된 CLIP 모델을 사용하여 텍스트 또는 이미지의 임베딩 벡터를 추출한 다음 이를 MLP 모델에 입력하고 마지막으로 조건을 "대략적인 디자인"에 통합한다는 것입니다. " 및 "finishing" 2단계 네트워크에서

은 텍스트와 이미지를 통해 생성된 텍스처를 제어하여 최종 출력 결과를 얻습니다.

따라서 이 모델의 구현 효과는 무엇입니까?

생성 속도가 10분에서 30초로 단축됩니다

먼저 Point-UV 확산의 생성 효과를 살펴보겠습니다

도면에서 볼 수 있듯이 테이블과 의자 외에도 Point-UV 확산이 자동차와 같은 객체를 생성할 수도 있습니다.

텍스트를 기반으로 텍스처를 생성할 수 있을 뿐만 아니라,

이미지를 기반으로 해당 객체의 텍스처 효과도 생성할 수 있습니다.

저자는 또한 Point-UV 확산을 위한 텍스처를 생성합니다. 이전 방법과 효과를 비교합니다

차트를 관찰하면 Texture Fields, Texturify, PVD-Tex 등과 같은 다른 텍스처 생성 모델과 비교하여 Point -UV 확산은 구조와 정밀도 측면에서 더 나은 결과를 보여줍니다

저자는 동일한 하드웨어 구성에서 계산하는 데 10분이 걸리는 Text2Mesh에 비해 Point-UV 확산은 30초 밖에 걸리지 않는다고 언급했습니다.

그러나 저자는 Point-UV 확산의 현재 한계도 지적했습니다. 예를 들어 UV 맵에 "조각난" 부분이 너무 많으면 여전히 매끄러운 텍스처 효과를 얻을 수 없습니다. 또한 훈련을 위한 3D 데이터 의존도와 현재의 3D 데이터의 정제된 품질과 양이 2D 데이터 수준에 도달하지 못하기 때문에 생성된 효과는 아직 2D 이미지 생성의 정제된 효과를 얻을 수 없습니다

이 연구에 관심 있는 친구들은 아래 링크를 클릭하여 논문을 읽어보세요~

논문 주소:https://cvmi-lab.github.io/Point-UV-Diffusion/paper/point_uv_diffusion.pdf

프로젝트 주소(아직 공사 중): https://github.com/CVMI-Lab/Point-UV-Diffusion

위 내용은 3D 모델 텍스처 매핑을 30초 안에 간단하고 효율적으로 쉽게 완성하세요!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!