计算机视觉与图形学、人工智能,计算机视觉与图形学什么

　　(注：如果你觉得下面这篇文章对你有帮助，请花一秒钟点击底部的广告，启发我的创作。谢谢大家！)

　　NeRF是最先进的新视图合成方法，可以在训练图像的分辨率下合成出真实感输出，但如(a)所示，在更高的分辨率下很难实现，而NeRF SR即使在低分辨率输入下也能生成高质量的新视图(b)。

　　摘要

　　我们提出了NeRF-SR，这是一种针对高分辨率(HR)新视图合成的解决方案，主要针对低分辨率(LR)输入。我们的方法基于NeRF，使用多层感知器来预测每个点的密度和颜色。与任何比例的图像相比，NeRF很难生成超过给定输入图像分辨率的视图。我们认为NeRF受益于3D一致性，这意味着观察到的像素是从附近的视图中获得的。首先，我们通过一种过采样策略来使用它，该策略在每个图像像素处发射多条光线，这进一步在子像素级加强了多视图约束。然后，我们表明NeRF-SR可以通过优化的网络来进一步提高过采样的性能，该网络利用现有的估计深度来仅在一幅HR参考图像上生成相关片的细节。实验结果表明，NeRF SR在没有任何外部信息的情况下，在合成数据集和真实数据集上生成了高质量的新视图合成结果。

　　网络框架

　　NeRF-SR系统框架主要包括两部分。(a)我们采用过采样策略，仅从低分辨率输入生成超分辨率新视图。(b)给定任何视点的高分辨率参考，我们使用现有的深度图提取相关的面片，NeRF-SR生成合成图像的更多细节。

　　实验结果

　　比较双三次、NeRF、SS和Refine算法的性能。NeRF SR在叶子和花中呈现正确清晰的纹理，在耳朵和角鼻处呈现裂缝，使用细化网络可以进一步增强。

　　结论

　　NeRF-SR的主要限制之一是它不具有良好的任意尺度特性。它还引入了额外的计算效率，这需要很长的训练时间。

　　总之，我们提出了NeRF-SR，主要使用低分辨率输入，实现了不需要任何外部数据的真实感渲染。具体来说，我们从两个角度利用NeRF中的3D一致性：过采样策略，通过亚像素的多视图寻找对应点；深度引导细化，让HR可以参考图像上的相关细节。最后，区域超采样和广义NeRF超分辨率可能会在未来的工作中进行探索。

　　更多资讯请关注微信官方账号：Metauniverse MetaAI

　　版权归作者所有：原创作品来自博主HelloCVCG，转载授权请联系作者，否则将追究法律责任。

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。