OpenSVBRDF 출시: 재료 세계의 ImageNet 수준의 대규모 6차원 재료 실제 데이터베이스

컴퓨팅 그래픽 분야에서 재료의 모양은 실제 물체와 빛 사이의 복잡한 물리적 상호 작용을 설명합니다. 이 설명을 종종 SVBRDF(공간 변화 양방향 반사 분포 함수)라고 합니다. 비주얼 컴퓨팅에서는 필수적인 구성요소로 문화유산, 전자상거래, 비디오 게임, 시각효과 등의 분야에서 널리 사용되고 있습니다

지난 20년 동안, 특히 딥러닝이 대중화된 이후에는 고정밀, 다양한 디지털 자료 표현에 대한 학계 및 산업계의 수요가 증가하고 있습니다. 그러나 기술적인 문제로 인해 대규모 데이터베이스를 수집하는 것은 여전히 ​​매우 어려운 작업입니다. 현재 공개된 재료 외관의 실제 데이터베이스 수는 매우 제한되어 있습니다. 평면 이방성 재료 외관을 강력하고 고품질이며 효율적으로 획득하기 위한 새로운 통합 시스템을 공동으로 제안했습니다. 연구팀은 이 시스템을 사용하여 OpenSVBRDF 공개 자료 데이터베이스

를 구축했습니다.

다음은 그림 1과 같이 OpenSVBRDF 데이터베이스에 있는 일부 재료 샘플의 표시입니다. 각 행은 동일한 재료 카테고리에 속합니다

총 1,000개의 고품질 평면 샘플과 1,024×1,024의 공간 해상도를 갖춘 최초의 6차원 SVBRDF 대규모 측정 데이터베이스입니다. 10억 이상 측정된 BRDF

는 목재, 직물, 금속을 포함한 9개 카테고리를 포괄합니다.

데이터베이스 홈페이지: https://opensvbrdf.github.io/현재 데이터베이스는 비상업적 애플리케이션에 대해 완전 무료입니다. 계정을 신청하려면 웹사이트에 기본 정보만 제출하면 됩니다. 검토 후 GGX 텍스처 맵을 포함한 관련 데이터와 코드를 직접 다운로드할 수 있습니다. 관련 연구 논문 "OpenSVBRDF: A Database containmeasured Spatially Variing Reflectivity"가 컴퓨터 그래픽 분야 최고의 국제 학회인 ACM SIGGRAPH ASIA 2023(저널 논문)에서 채택되었습니다.

논문을 보려면 다음 링크를 클릭하십시오. 홈페이지: https: //svbrdf.github.io/

Technical Challenge

원래 의미를 바꾸지 않고 다시 작성해야 할 내용은 다음과 같습니다. [Lawrence et al. 2006]에 따르면 직접 샘플링 방법은 다음과 같습니다. 다양한 조명 조건에서 다양한 시야각에서 물리적 재료를 집중적으로 측정합니다. 이 방법은 고품질의 안정적인 획득 결과를 얻을 수 있지만 효율성이 낮고 시간과 보관 비용이 많이 필요합니다. 또 다른 옵션은 희박하게 샘플링된 데이터로부터 자료를 재구성할 수 있는 사전 지식을 기반으로 하는 재구성 방법입니다. 이 방법은 효율성을 향상시키지만, 이전 조건이 충족되지 않으면 재구성 품질이 만족스럽지 않을 수 있습니다[Nam et al. 또한, 현재의 광 경로 다중화 기술은 높은 획득 효율과 재구성 품질을 달성했지만 브러시 처리된 금속 및 광택 처리된 베니어와 같은 매우 복잡한 재료를 처리하는 경우 알고리즘의 견고성을 여전히 개선해야 합니다 [Kang et al. 2018]

그림 2: 기존 자료 수집 연구의 대표 작품. 왼쪽부터 [Lawrence et al. 2006], [Nam et al. 2018]. 그 중 [Kang et al. 2018]은 2018년 ACM SIGGRAPH에 게재된 팀의 초기 연구입니다.

하드웨어

재료의 외관을 효율적으로 스캔하기 위해 연구팀은 약 70cm×70cm×40cm 크기의 반큐브 근접장 조명 다중화 장치를 제작했습니다. 샘플을 투명한 아크릴 판에 놓고 서랍 슬라이드를 통해 신속하게 밀어넣거나 빼낼 수 있어 높은 처리 속도를 얻을 수 있습니다. 이 장치는 머신 비전 카메라 2대와 고휘도 LED 16,384개로 구성됩니다. 두 대의 카메라는 약 90도(기본 시야각) 및 45도(보조 시야각) 각도에서 샘플을 캡처합니다. LED는 장치의 6개 측면에 분산되어 있습니다. . 자체 개발한 고성능 제어 회로는 각 LED의 독립적인 밝기 제어를 담당하고 하드웨어 수준에서 광원 투사 및 카메라 노출의 고정밀 동기화를 달성합니다.

그림 3을 참조하세요. 획득 장비의 모습과 두 가지 각도에서 찍은 사진

획득 및 재구성

이 시스템은 네트워크 예측과 미세 조정을 기반으로 현재 널리 사용되는 두 가지 방법을 독특하게 결합합니다. 물리적 수집의 효율성을 향상시킵니다. 미세 조정을 통해 결과의 품질을 더욱 향상시키면서 차별화 가능한 조명 패턴을 최적화합니다. 평면 SVBRDF

의 매우 견고하고 고품질이며 효율적인 획득 및 재구성을 달성한 것은 이번이 처음입니다. 특히, 물리적 샘플을 재구성하기 위해 연구원들은 먼저 균일한 조명 하에서 조밀한 SIFT 특징을 일치시켜 두 개의 구조를 확립했습니다. -카메라 각도 간의 정밀한 대응. 물리적 획득의 경우 조명 패턴은 먼저 자동 인코더의 일부로 최적화되어 효율적인 획득을 달성합니다. 오토인코더는 두 뷰의 측정값을 기반으로 복잡한 모양을 재구성하는 방법을 자동으로 학습하고 결과를 중간 신경 표현으로 나타냅니다. 그 후, 63개의 등가 선형 광원 하에서 주시야 카메라로 촬영한 사진을 기반으로 최종 결과의 품질과 견고성을 향상시키기 위해 이미지 오류를 플로팅하여 신경 표현을 미세 조정했습니다. 그림 3은 전체 시스템의 처리 흐름을 보여줍니다. 자세한 내용은 원본 논문을 참조하세요

그림 4: 전체 시스템의 획득 및 재구성 프로세스.

결과

연구팀은 외모 데이터를 수집해 9개 카테고리로 나누어 총 1,000개의 샘플을 수집했다. 물리 기반 렌더링 파이프라인(PBR)을 보다 쉽게 ​​사용할 수 있도록 연구에서는 신경 표현을 업계 표준 이방성 GGX BRDF 모델 매개변수에 맞게 조정했습니다. 그림 5는 재료 재구성 결과의 하위 매개변수 및 속성을 보여줍니다. 각 샘플에는 원본 HDR 사진 193장(총 크기 15GB), 중간 신경 표현(290MB), GGX 매개변수를 나타내는 텍스처 맵과 투명도 맵(총 크기 55MB)을 포함한 6개의 맵이 포함되어 있습니다. 신경 표현과 텍스처 맵의 공간 해상도는 모두 1,024×1,024

재작성된 내용: 그림 5: 재구성된 재료 결과의 하위 항목 속성(신경 표현, 확산 반사, 정반사, 거칠기 포함) 등)

재구성 결과의 정확성을 입증하기 위해 연구진은 주요 관점에서 찍은 사진(아래 그림의 첫 번째 행)과 신경 표현 매핑 결과(아래 그림의 두 번째 행)를 비교했습니다. 정량적 오류(SSIM/PSNR로 표시)는 플롯 하단에 표시됩니다. 아래 그림의 결과에서 볼 수 있듯이 이 시스템은 고품질 재료 재구성(SSIM>=0.97, PSNR>=34db)을 달성합니다.

그림 6: 주요 관점에서 본 실제 사진과 신경 표현 매핑 결과의 비교.

시야각 영역에서 재구성 결과의 일반화 가능성을 더욱 입증하기 위해 연구원들은 점광원 조명 하에서 두 시야각에서 촬영한 사진을 GGX 피팅 매개변수를 사용하여 도출한 결과와 비교하여 다음을 확인했습니다. 재구성 결과는 원근 정확성에 걸쳐 있습니다.

그림 7: 촬영한 실제 사진과 두 가지 시야각에서 이방성 GGX 피팅 매개변수를 사용하여 그린 결과의 비교

연구원들은 또한 재료 생성 및 재료 분류에서 데이터베이스의 사용을 시연했습니다. 재료 재구성에 응용. 구체적인 내용은 원문을 참조하시기 바랍니다.

그림 8은 재료 생성 및 보간을 달성하기 위해 OpenSVBRDF를 사용하여 MaterialGAN을 훈련하는 과정을 보여줍니다.

그림 9는 OpenSVBRDF를 사용하여 재료 분류 정확도를 향상시키기 위해 활성 조명을 훈련하는 과정을 보여줍니다

다시 작성된 내용은 다음과 같습니다. 그림 10: OpenSVBRDF를 사용하여 단일 포인트 샘플링(왼쪽) 및 광 경로 다중화(오른쪽) 기반 BRDF 재구성 품질 향상

Outlook

연구원 열심히 노력하겠습니다. 기존 데이터베이스를 확장하여 다양한 모습을 보여주는 재료 샘플을 추가하겠습니다. 앞으로는 재료 외관과 기하학적 형태를 모두 포함하는 대규모, 고정밀 측정 개체 데이터베이스를 구축할 계획입니다. 또한 연구자들은 OpenSVBRDF를 기반으로 재료 추정, 분류 및 생성 방향으로 공개 벤치마크를 설계하고, 객관적이고 정량적인 표준 테스트를 통해 관련 연구의 향후 발전을 촉진할 수 있는 견고한 데이터 보장을 제공할 것입니다.

위 내용은 OpenSVBRDF 출시: 재료 세계의 ImageNet 수준의 대규모 6차원 재료 실제 데이터베이스의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!