还有网友借机炒了波游戏NFT有多复杂

渲染一个精细到头发和皮肤褶皱的龙珠 3D 手办，有多复杂对于经典模型 NeRF 来说，至少需要同一个相机从特定距离拍摄的 100 张手办照片

甚至还能预估材质，并从任意角度重新打光:

这个 AI 模型名叫 NeROIC，是南加州大学和 Snap 团队玩出来的新花样。

有网友见状狂喜:

不同角度的照片就能渲染 3D 模型，快进到只用照片来拍电影。

还有网友借机炒了波游戏 NFT

所以，NeROIC 究竟是如何仅凭任意 2D 输入，就获取到物体的 3D 形状和性质的呢。

基于 NeRF 改进，可预测材料光照

介绍这个模型之前，需要先简单回顾一下 NeRF。

NeRF 提出了一种名叫神经辐射场的方法，利用 5D 向量函数来表示连续场景，其中 5 个参数分别用来表示空间点的坐标位置和视角方向。

可是，NeRF 却存在一些问题:

无法预测物体的材料属性，因此无法改变渲染的光照条件。

这次的 NeROIC，就针对这两方面进行了优化:

可以预测材料属性，在渲染时可以改变物体表面光照效果。

它主要由 2 个网络构成，包括深度提取网络和渲染网络。

首先是深度提取网络，用于提取物体的各种参数。

同时，设计了一种估计物体表面法线的新算法，在保留关键细节的同时，也消除了几何噪声的影响:

最后是渲染网络，用提取的参数来渲染出 3D 物体的效果。

具体来说，论文提出了一种将颜色预测，神经网络与参数模型结合的方法，用于计算颜色，预测最终法线等。

其中，NeROIC 的实现框架用 PyTorch 搭建，训练时用了 4 张英伟达的 Tesla V100 显卡。

训练时，深度提取网络需要跑 6~13 小时，渲染网络则跑 2~4 小时。

至于训练 NeROIC 采用的数据集，则主要有三部分:

那么，这样的模型效果究竟如何呢论文先是将 NeROIC 与 NeRF 进行了对比从直观效果来看，无论是物体渲染细节还是清晰度，NeROIC 都要比 NeRF 更好

具体到峰值信噪比和结构相似性来看，深度提取网络的抠图技术都挺不错，相较 NeRF 做得更好:

同时，论文也在更多场景中测试了渲染模型的效果，事实证明不会出现伪影等情况:

还能产生新角度，而且重新打光的效果也不错，例如这是在室外场景:

室内场景的打光又是另一种效果:

结果显示，即使是数据集不足的情况下，NeROIC 的效果依旧比 NeRF 更好。

对 AI 来说，重建透明或半透明物体确实也确实是比较复杂的任务，可以等代码出来后尝试一下效果。

一作清华校友

论文一作匡正非，目前在南加州大学读博，导师是计算机图形学领域知名华人教授黎颢。

他本科毕业于清华计算机系，曾经在胡事民教授的计图团队中担任助理研究员。

以后或许只需要几张网友卖家秀，就真能在家搞 VR 云试用了。

论文地址:

项目地址:

参考链接: