물질계의 ImageNet, 대규모 6차원 물질실사 데이터베이스 OpenSVBRDF 출시|SIGGRAPH Asia

컴퓨팅 그래픽 분야에서 물질 외관은 실제 물체와 빛 사이의 복잡한 물리적 상호 작용을 묘사하며, 이는 일반적으로 공간 위치에 따라 변경되는 양방향 반사 분포 함수(SVBRDF)로 표현될 수 있습니다. 이는 비주얼 컴퓨팅의 필수 구성 요소이며 문화 유산, 전자 상거래, 비디오 게임 및 시각 효과와 같은 분야에 광범위하게 적용됩니다.

지난 20년 동안, 특히 딥러닝의 대중화 이후 학계와 산업계에서는 고정밀하고 다양한 디지털 소재 표현에 대한 요구가 높아지고 있습니다. 그러나 기술적인 문제로 인해 대규모 데이터베이스를 수집하는 것은 여전히 ​​매우 어려우며 공개적으로 사용 가능한 재료 외관의 실제 데이터베이스 수가 현재 매우 제한되어 있습니다.

이를 위해 절강대학교 컴퓨터 지원 설계 및 그래픽 시스템 국가 핵심 연구소 연구팀과 Hangzhou Xiangxin Technology Co., Ltd.가 공동으로 강력하고 고품질을 위한 새로운 통합 시스템을 제안했습니다. 평면형 이방성 재질의 외관을 모아보세요. 연구팀은 이 시스템을 사용하여 OpenSVBRDF 공개 자료 데이터베이스를 구축했습니다. 그림 1: OpenSVBRDF 데이터베이스의 일부 재료 샘플 표시. 각 행은 동일한 재료 카테고리에 속합니다.

^{이것은 총 1,000개의 고품질 평면 샘플과 1,024×1,024의 공간 해상도를 갖춘 최초의 6차원 SVBRDF 대규모 측정 데이터베이스입니다.} 10억 개 이상의 측정된 BRDF에 해당합니다. , 목재, 직물, 금속 등 9개 카테고리를 다루고 있습니다.

데이터베이스 홈페이지: https://opensvbrdf.github.io/

현재 데이터베이스는 비상업적 애플리케이션에 대해 완전 무료입니다. 웹사이트에서 계정을 신청하려면 기본 정보만 제출하면 됩니다. 검토를 통과한 후 GGX 텍스처 맵을 포함한 관련 데이터와 코드를 직접 다운로드할 수 있습니다. 관련 연구 논문 "OpenSVBRDF: A Database of Measured Spatially-Varying Reflectance"가 컴퓨터 그래픽 분야 최고 국제 학회인 ACM SIGGRAPH ASIA 2023(Journal Track)에 장편 논문으로 채택되었습니다.

논문 홈페이지: https://svbrdf.github.io/

Technical Challenges

직접 샘플링 방식으로 다양한 조명 및 시야각 조합에서 물리적 재료를 조밀하게 치밀화 측정 [로렌스 외 2006]. 이는 고품질의 견고한 획득 결과를 얻을 수 있지만 비효율적이며 높은 시간과 보관 비용이 필요합니다. 또 다른 옵션은 희박하게 샘플링된 데이터로부터 자료를 재구성할 수 있는 사전 지식 기반 재구성 방법입니다. 이는 효율성을 향상시키지만 선험적 조건이 충족되지 않으면 품질이 만족스럽지 않습니다 [Nam et al. 2018]. 또한, 현재 SOTA 광 경로 다중화 기술은 높은 획득 효율과 재구성 품질을 달성했지만, 브러시 처리된 금속 및 광택 처리된 베니어와 같은 매우 복잡한 재료를 처리할 때 알고리즘은 충분히 강력하지 않습니다[Kang et al.

그림 2: 기존 자료 수집 연구의 대표 작품. 왼쪽부터 [Lawrence et al. 2006], [Nam et al. 2018]. 그 중 [Kang et al. 2018]은 2018년 ACM SIGGRAPH에 게재된 팀의 초기 연구입니다.

하드웨어

연구팀은 물질 외관을 효율적으로 스캔하기 위해 약 70cm×70cm×40cm 크기의 반입방 근접장 조명 다중화 장치를 제작했습니다. . 샘플을 투명한 아크릴 판에 놓고 서랍 슬라이드를 통해 신속하게 밀어넣거나 빼낼 수 있어 높은 처리 속도를 얻을 수 있습니다. 이 장치는 머신 비전 카메라 2대와 고휘도 LED 16,384개로 구성됩니다. 두 대의 카메라는 약 90도(기본 시야각) 및 45도(보조 시야각) 각도에서 샘플을 캡처합니다. LED는 장치의 6개 측면에 분산되어 있습니다. . 자체 개발한 고성능 제어 회로는 각 LED의 독립적인 밝기 제어를 담당하고 하드웨어 수준에서 광원 투사 및 카메라 노출의 고정밀 동기화를 달성합니다.

ㅋㅋ ~                           그림 3: 두 가지 시야각에서 본 수집 장비의 모습과 사진.

획득 및 재구성

이 시스템은 현재 네트워크 예측과 미세 조정을 기반으로 하는 두 가지 널리 사용되는 방법의 장점을 혁신적으로 결합하며 둘 다 차별화 가능한 조명 패턴 최적화 효율성을 통해 물리적 획득을 증가시킬 수 있습니다. 미세 조정을 통해 최종 결과의 품질을 더욱 향상시켜 처음으로 평면 SVBRDF의 높은 견고성, 고품질 및 효율적인 획득 및 재구성을 달성할 수 있습니다.

구체적으로, 연구원들은 물리적 샘플을 재구성하기 위해 먼저 균일한 조명 하에서 조밀한 SIFT 기능을 일치시켜 두 카메라 뷰 간의 고정밀 대응을 확립했습니다. 물리적 획득의 경우 조명 패턴은 먼저 자동 인코더의 일부로 최적화되어 효율적인 획득을 달성합니다. 오토인코더는 두 뷰의 측정값을 기반으로 복잡한 모양을 재구성하는 방법을 자동으로 학습하고 결과를 중간 신경 표현으로 나타냅니다. 그 후, 최종 결과의 품질과 견고성을 향상시키기 위해 63개의 등가 선형 광원에서 메인 뷰 카메라로 촬영한 사진을 기반으로 이미지 오류를 플로팅하여 신경 표현을 미세 조정했습니다. 그림 3은 전체 시스템의 처리 흐름을 보여줍니다. 자세한 내용은 원본 논문을 참조하세요. 그림 4: 전체 시스템의 획득 및 재구성 프로세스.

Results

연구진은 물리 기반 표준 렌더링 파이프라인(PBR)의 직접적인 활용을 용이하게 하기 위해 9개 카테고리의 1,000개 샘플의 모습을 수집하고 재구성했습니다. 또한 신경 표현은 업계 표준 이방성 GGX BRDF 모델 매개변수에 맞춰졌습니다. 그림 5는 재료 재구성 결과의 하위 매개변수/속성을 보여줍니다. 각 샘플은 원시 HDR 사진 193장(총 크기 15GB), 중간 신경 표현(290MB), GGX 매개변수를 나타내는 텍스처 및 투명도 맵(총 크기 55MB)을 포함한 6개의 맵을 저장합니다. 신경 표현과 텍스처 맵의 공간 해상도는 모두 1,024×1,024입니다. ㅋㅋ                                          .

재구성 결과의 정확성을 입증하기 위해 연구진은 주요 관점에서 찍은 사진(아래 그림의 첫 번째 행)과 신경 표현 매핑 결과(아래 그림의 두 번째 행)를 비교했습니다. 정량적 오류(SSIM/PSNR로 표시)는 플롯 하단에 표시됩니다. 아래 그림의 결과에서 볼 수 있듯이 이 시스템은 고품질 재료 재구성(SSIM>=0.97, PSNR>=34db)을 달성합니다. 와 그림 6: 주요 투시도 모서리 아래의 실제 사진과 신경 표현 드로잉 결과의 비교.

시야각 영역에서 재구성 결과의 일반화를 더욱 증명하기 위해 연구자들은 점광원 하에서 두 시야각에서 촬영한 사진과 GGX 피팅 매개변수를 사용하여 도출한 결과를 비교하여 재구성을 검증했습니다. 결과의 교차 정확성. ㅋㅋ                                                                

연구원들은 또한 재료 생성, 재료 분류 및 재료 재구성의 세 가지 측면에서 데이터베이스의 적용을 시연했습니다. 구체적인 내용은 원본 논문을 참조하시기 바랍니다.

ㅋㅋ ~                                        . 그림 9: 재료 분류 정확도를 높이기 위해 OpenSVBRDF를 사용하여 활성 조명을 훈련합니다. 그림 10: OpenSVBRDF를 사용하여 단일 포인트 샘플링(왼쪽) 및 광학 경로 다중화(오른쪽)를 기반으로 BRDF 재구성 품질을 향상합니다.

Outlook

연구원들은 열심히 노력하여 기존 데이터베이스를 확장하고 다양한 모습을 보여주는 소재 샘플을 추가하겠습니다. 앞으로는 재료 외관과 기하학적 형태를 모두 포함하는 대규모, 고정밀 측정 개체 데이터베이스를 구축할 계획입니다. 또한 연구자들은 OpenSVBRDF를 기반으로 재료 추정, 분류 및 생성 방향으로 공개 벤치마크를 설계하고 객관적이고 정량적인 표준 테스트를 통해 관련 연구의 향후 발전을 촉진할 수 있는 견고한 데이터 보장을 제공할 것입니다.

위 내용은 물질계의 ImageNet, 대규모 6차원 물질실사 데이터베이스 OpenSVBRDF 출시|SIGGRAPH Asia의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!