映射关系

用神经辐射场隐式地表示场景,再用体积渲染技术显式得渲染出图像

输入

输入变量为一个 5维向量 (x,y,z,θ,ϕ)(x,y,z,\theta, \phi) 其中 x,y,z 表示的是 相机的空间坐标, θ,ϕ\theta, \phi 表示球坐标系下相机的朝向

输出

表示采样点的颜色和不透明度 (RGBA)

定义

辐射场

辐射场是一种用于描述场景中每一点的颜色和密度的方法。它不直接表示物体的形状,而是通过光线在空间中传播的信息来定义场景

神经辐射场

神经辐射场(NeRF) 是一种基于深度学习的辐射场表示方法。它使用一个全连接的神经网络来学习场景的连续体积密度和颜色分布。网络输入是一个五维向量 (空间位置的 XYZ 坐标和观察方向的 θ\thetaϕ\phi 角度),输出是该点的RGB颜色值和体积密度。

体渲染技术

用于渲染三维数据的方法,它通过模拟光线穿过具有不同密度和颜色的介质的过程来生成图像

流程

  1. 读取数据,获取图片和对应的相机参数
  2. 光线采样,根据相机参数计算每个像素对应的 camera ray
  3. batch 训练,对所有的 ray 批采样
  4. 渲染求损失函数再优化