目录
技术挑战
硬件
采集重建
结果
展望
首页 科技周边 人工智能 OpenSVBRDF发布:材质界的ImageNet级别的大规模6维材质实拍数据库

OpenSVBRDF发布:材质界的ImageNet级别的大规模6维材质实拍数据库

Nov 26, 2023 pm 05:26 PM
数据库 ai

在计算图形学领域,材质的外观描述了真实物体与光线之间的复杂物理交互。这种描述通常被称为随空间位置变化的双向反射分布函数(Spatially-Varying Bidirectional Reflectance Distribution Function,缩写为 SVBRDF)。在视觉计算中,它是不可或缺的组成部分,并广泛应用于文化遗产、电子商务、电子游戏和视觉特效等领域

在过去的二十年中,特别是深度学习流行之后,学术界和工业界对于高精度、多样化数字材质外观的需求不断增加。然而,由于技术方面的挑战,采集大型数据库仍然是一项相当困难的任务,目前能够公开使用的材质外观实拍数据库数量非常有限

为此,浙江大学计算机辅助设计与图形系统全国重点实验室和杭州相芯科技有限公司的研究团队联合提出了一种新型集成系统,用于鲁棒、高质量和高效地采集平面各向异性材质外观。利用该系统,研究团队构建了 OpenSVBRDF 公开材质数据库

OpenSVBRDF发布:材质界的ImageNet级别的大规模6维材质实拍数据库

以下是OpenSVBRDF数据库中一些材质样例的展示,如图1所示。每一行都属于同一种材质类别

这是第一个大规模 6 维 SVBRDF 的实测数据库,共有 1,000 个高质量平面样本,空间分辨率为 1,024×1,024,等效为超过 10 亿个实测 BRDF,涵盖了包括木材、织物和金属在内的 9 种类别。

数据库主页:https://opensvbrdf.github.io/

目前,数据库对非商业应用完全免费。只需在网站上提交基本信息申请账号,经过审核后,即可直接下载包括GGX纹理贴图在内的相关数据和代码。相关研究论文《OpenSVBRDF: 一个包含测量空间变化反射性的数据库》已被计算机图形学顶级国际会议ACM SIGGRAPH ASIA 2023(期刊论文)接收

OpenSVBRDF发布:材质界的ImageNet级别的大规模6维材质实拍数据库

请点击以下链接查看论文主页:https://svbrdf.github.io/

技术挑战

在不改变原意的情况下,需要重写的内容是:根据[Lawrence et al. 2006],直接采样方法是在不同的光照和观察角度下对物理材质进行密集测量。尽管这种方法可以获得高质量且稳定的采集结果,但它的效率较低,需要大量的时间和存储成本。另一种选择是基于先验知识的重建方法,它可以从稀疏的采样数据中重建材质。虽然这种方法提高了效率,但当先验条件不满足时,重建的质量可能不如人意[Nam et al. 2018]。此外,尽管当前的光路复用技术达到了较高的采集效率和重建质量,但在处理高度复杂的材质,如拉丝金属和抛光木皮等方面,算法的鲁棒性还有待提高[Kang et al. 2018]

OpenSVBRDF发布:材质界的ImageNet级别的大规模6维材质实拍数据库

图 2:现有材质采集研究的代表工作。从左到右分别是 [Lawrence et al. 2006],[Nam et al. 2018] 以及 [Kang et al. 2018]。其中 [Kang et al. 2018] 为该团队在 2018 年发表于 ACM SIGGRAPH 的早期工作。

硬件

为高效扫描材质外观,研究团队搭建了一个接近半立方体的近场光照多路复用设备,其尺寸约为 70cm×70cm×40cm。样本被放置在一块透明的亚克力板上,可以通过抽屉滑轨快速滑入 / 滑出,来实现高吞吐率。该设备由 2 台机器视觉相机和 16,384 个高亮度 LED 组成,两台相机分别从大约 90 度(主视角)和 45 度(次视角)的角度拍摄样本,LED 分布在设备的 6 个面上。自主研发的高性能控制电路负责对每个 LED 进行独立亮度控制,并在硬件层面实现了光源投射和相机曝光的高精度同步。

OpenSVBRDF发布:材质界的ImageNet级别的大规模6维材质实拍数据库

请看图3:采集设备的外观以及从两个不同角度拍摄的照片

采集重建

本系统独特地融合了目前流行的基于网络预测和基于微调的两种方法,以提高物理采集的效率。通过可微分光照图案的优化,同时通过微调进一步提升结果的质量。这是首次实现对平面SVBRDF高鲁棒性、高质量和高效率的采集和重建

具体而言,为了重建物理样本,研究人员首先通过在均匀照明下匹配密集的SIFT特征来建立两个相机视角之间的高精度对应关系。对于物理采集,首先将光照图案作为自编码器的一部分进行优化,以实现高效的采集。该自编码器会自动学习如何基于两个视角的测量值来重建复杂外观,并将结果表示为中间神经表达。随后,通过绘制图像误差对神经表达进行微调,以提高最终结果的质量和鲁棒性,这是根据主视角相机在63个等效线性光源下拍摄的照片来进行的。图3展示了整个系统的处理流程。详细信息请参阅原文论文

OpenSVBRDF发布:材质界的ImageNet级别的大规模6维材质实拍数据库

图 4:整个系统的采集重建流程。

结果

研究团队收集了外观数据,并共计采集了1,000个样本,共分为9个类别。为了更方便地使用基于物理标准绘制管线(PBR),该研究还将神经表达适配至业界标准的各向异性GGX BRDF模型参数。图5展示了材料重建结果的分项参数和属性。每个样本都包含193张原始HDR照片(总大小为15GB)、中间神经表达(290MB)以及6张贴图,其中包括表示GGX参数的纹理贴图和透明度贴图(总大小为55MB)。神经表达和纹理贴图的空间分辨率均为1,024×1,024

OpenSVBRDF发布:材质界的ImageNet级别的大规模6维材质实拍数据库

重写后的内容:图5:重建材质结果的分项属性(包括神经表达、漫反射率、高光反射率、粗糙度等)

为了证明重建结果的正确性,研究人员将主视角下的照片(下图第一行)和神经表达绘制结果(下图第二行)进行了比较。定量误差(以 SSIM/PSNR 表达)标注在绘制图片的底部。由下图结果可见,本系统实现了高质量材质重建(SSIM>=0.97, PSNR>=34db)。

OpenSVBRDF发布:材质界的ImageNet级别的大规模6维材质实拍数据库

图 6:实拍照片和神经表达绘制结果在主视角下的对比。

为了进一步证明重建结果的视角域泛化性,研究人员将点光源照射下、两个视角所拍摄的照片和使用 GGX 拟合参数绘制的结果进行了比较,验证了重建结果的跨视角正确性。

OpenSVBRDF发布:材质界的ImageNet级别的大规模6维材质实拍数据库

图片 7:比较实际拍摄照片和使用各向异性 GGX 拟合参数绘制的结果在两个视角下的对比

研究人员还展示了该数据库在材质生成、材质分类以及材质重建三方面的应用。具体细节请参考原始论文。

OpenSVBRDF发布:材质界的ImageNet级别的大规模6维材质实拍数据库

图8展示了利用OpenSVBRDF训练MaterialGAN来实现材质生成与插值的过程

OpenSVBRDF发布:材质界的ImageNet级别的大规模6维材质实拍数据库

图9展示了利用OpenSVBRDF训练主动光照以提升材质分类精度的过程


OpenSVBRDF发布:材质界的ImageNet级别的大规模6维材质实拍数据库

重写内容如下:图片10:使用OpenSVBRDF来提高基于单点采样(左)和光路多路复用(右)的BRDF重建质量

展望

研究人员将努力扩展现有数据库,增加展现多样性外观的材质样本。未来,他们还计划建立同时包含材质外观和几何形状的大规模高精度实测物体数据库。此外,研究人员将基于 OpenSVBRDF 设计在材质估计、分类和生成等方向上的公开 Benchmark,通过客观定量的标准测试,为推动相关研究的未来发展提供坚实的数据保障。

以上是OpenSVBRDF发布:材质界的ImageNet级别的大规模6维材质实拍数据库的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您听不到任何人,如何修复音频
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解锁Myrise中的所有内容
3 周前 By 尊渡假赌尊渡假赌尊渡假赌

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

Vue.js 中字符串转对象用什么方法? Vue.js 中字符串转对象用什么方法? Apr 07, 2025 pm 09:39 PM

Vue.js 中字符串转对象时,首选 JSON.parse() 适用于标准 JSON 字符串。对于非标准 JSON 字符串,可根据格式采用正则表达式和 reduce 方法或解码 URL 编码字符串后再处理。根据字符串格式选择合适的方法,并注意安全性与编码问题,以避免 bug。

Vue.js 如何将字符串类型的数组转换为对象数组? Vue.js 如何将字符串类型的数组转换为对象数组? Apr 07, 2025 pm 09:36 PM

总结:将 Vue.js 字符串数组转换为对象数组有以下方法:基本方法:使用 map 函数,适合格式规整的数据。高级玩法:使用正则表达式,可处理复杂格式,但需谨慎编写,考虑性能。性能优化:考虑大数据量,可使用异步操作或高效数据处理库。最佳实践:清晰的代码风格,使用有意义的变量名、注释,保持代码简洁。

如何设置Vue Axios的超时时间 如何设置Vue Axios的超时时间 Apr 07, 2025 pm 10:03 PM

为了设置 Vue Axios 的超时时间,我们可以创建 Axios 实例并指定超时选项:在全局设置中:Vue.prototype.$axios = axios.create({ timeout: 5000 });在单个请求中:this.$axios.get('/api/users', { timeout: 10000 })。

Laravel的地理空间:互动图和大量数据的优化 Laravel的地理空间:互动图和大量数据的优化 Apr 08, 2025 pm 12:24 PM

利用地理空间技术高效处理700万条记录并创建交互式地图本文探讨如何使用Laravel和MySQL高效处理超过700万条记录,并将其转换为可交互的地图可视化。初始挑战项目需求:利用MySQL数据库中700万条记录,提取有价值的见解。许多人首先考虑编程语言,却忽略了数据库本身:它能否满足需求?是否需要数据迁移或结构调整?MySQL能否承受如此大的数据负载?初步分析:需要确定关键过滤器和属性。经过分析,发现仅少数属性与解决方案相关。我们验证了过滤器的可行性,并设置了一些限制来优化搜索。地图搜索基于城

偏远的高级后端工程师(平台)需要圈子 偏远的高级后端工程师(平台)需要圈子 Apr 08, 2025 pm 12:27 PM

远程高级后端工程师职位空缺公司:Circle地点:远程办公职位类型:全职薪资:$130,000-$140,000美元职位描述参与Circle移动应用和公共API相关功能的研究和开发,涵盖整个软件开发生命周期。主要职责独立完成基于RubyonRails的开发工作,并与React/Redux/Relay前端团队协作。为Web应用构建核心功能和改进,并在整个功能设计过程中与设计师和领导层紧密合作。推动积极的开发流程,并确定迭代速度的优先级。要求6年以上复杂Web应用后端

mysql 无法启动怎么解决 mysql 无法启动怎么解决 Apr 08, 2025 pm 02:21 PM

MySQL启动失败的原因有多种,可以通过检查错误日志进行诊断。常见原因包括端口冲突(检查端口占用情况并修改配置)、权限问题(检查服务运行用户权限)、配置文件错误(检查参数设置)、数据目录损坏(恢复数据或重建表空间)、InnoDB表空间问题(检查ibdata1文件)、插件加载失败(检查错误日志)。解决问题时应根据错误日志进行分析,找到问题的根源,并养成定期备份数据的习惯,以预防和解决问题。

mysql安装后怎么使用 mysql安装后怎么使用 Apr 08, 2025 am 11:48 AM

文章介绍了MySQL数据库的上手操作。首先,需安装MySQL客户端,如MySQLWorkbench或命令行客户端。1.使用mysql-uroot-p命令连接服务器,并使用root账户密码登录;2.使用CREATEDATABASE创建数据库,USE选择数据库;3.使用CREATETABLE创建表,定义字段及数据类型;4.使用INSERTINTO插入数据,SELECT查询数据,UPDATE更新数据,DELETE删除数据。熟练掌握这些步骤,并学习处理常见问题和优化数据库性能,才能高效使用MySQL。

mysql安装后怎么优化数据库性能 mysql安装后怎么优化数据库性能 Apr 08, 2025 am 11:36 AM

MySQL性能优化需从安装配置、索引及查询优化、监控与调优三个方面入手。1.安装后需根据服务器配置调整my.cnf文件,例如innodb_buffer_pool_size参数,并关闭query_cache_size;2.创建合适的索引,避免索引过多,并优化查询语句,例如使用EXPLAIN命令分析执行计划;3.利用MySQL自带监控工具(SHOWPROCESSLIST,SHOWSTATUS)监控数据库运行状况,定期备份和整理数据库。通过这些步骤,持续优化,才能提升MySQL数据库性能。

See all articles