3D资产生成领域福音：自动化所、北邮团队联合打造材质生成新范式
输入“/”快速插入内容
3D资产生成领域福音：自动化所、北邮团队联合打造材质生成新范式
3D资产生成领域福音：自动化所、北邮团队联合打造材质生成新范式
2024年8月20日修改
转载请联系原作者取得授权
在当今数字化时代，3D 资产在元宇宙的建构、 数字孪生 的实现以及 虚拟现实 和增强现实的应用中扮演着重要角色，促进了技术创新和用户体验的提升。
现有的 3D 资产生成方法通常利用生成式模型基于空间变化双向反射分布函数（SVBRDF, Spatially Varying Bidirectional Reflectance Distribution Function）在预设光照条件下推断表面位置的材质属性特征。然而，这些方法很少考虑到人们对身边常见物体的表面材质认知构建出的强大且丰富的 先验知识 （如汽车轮胎应为外缘的橡胶胎面包裹住金属的轮毂），且忽略了材质应该与物体本身的 RGB 色彩进行解耦。
因此，如何将人类对物体表面材质的 先验知识 有效地融入到材质生成过程中，从而提高现有 3D 资产的整体质量，成为了当前研究的重要课题。
针对这一问题，近日，中国科学院自动化研究所、北京邮电大学及香港理工大学等京港两地的研究团队发布了名为《MaterialSeg3D: Segmenting Dense Materials from 2D Priors for 3D Assets》的论文，构造了首个针对多种类复杂材质物体的 2D 材质分割数据集 MIO，其包含了多种语义类别下的、单一物体的、各个相机视角的像素级材质标签。该研究提出了一种能够利用 2D 语义先验在 UV 空间中推断出 3D 资产表面材质的材质生成方案 ——MaterialSeg3D。
•
3D 建模师通常根据生活常识或真实世界的物体原型来定义资产表面的材质。相比之下，基于生成式模型构建 3D 资产的方法使用 SVBRDF 来推断材质信息，但由于缺乏准确的高质量 3D 资产样本，这些方法难以生成高泛化性和高保真度的物理材质通道信息。此外，这类方法也未能利用公开网站中的海量 Web Image 数据来丰富物体表面材质信息的 先验知识 。
因此，本文聚焦于如何将 2D 图片中关于材质的 先验知识 引入解决 3D 资产材质信息定义的任务中。
MIO 数据集
这篇论文首先尝试从现有 3D 资产数据集中提取材质分类的 先验知识 ，但由于数据集样本过少且风格单一，分割模型难以学习到正确的 先验知识 。