实时渲染前沿研究：开篇介绍

大家好，本研究的目的在于研究和实现实时渲染路径追踪中的难点，感谢大家一起来研究学习，谢谢！

本研究偏向于结合深度学习和图形学，目前，我们已经完成了下面的工作：

• 路径追踪基础课
  本培训班的课程是基于”路径追踪“技术的离线渲染器零基础实战开发的基础课程。
  我们介绍相关的图形学和数学基础，给出详细的数学推导、伪代码和实现代码，最终带领大家使用最新的RTX光线追踪管线以及计算管线的计算着色器，做出一个可以运行的路径追踪离线渲染器。
• 构造和遍历BVH
  实现了LBVH、使用Ray Packet加速
• 深度学习基础课
  本课程带领同学从0开始学习全连接和卷积神经网络，进行数学推导，并且实现可以运行的Demo程序
• 深度学习降噪专题课
  本课程基于全连接和卷积神经网络，学习LBF、KPCN、WSPK等深度学习降噪算法，实现了WSPK实时蒙特卡洛降噪算法，介绍了深度学习降噪算法的实现思路，演示了实现的效果

我们预计将会在本次研究中，完成下面的研究和实现：

DLSS

通过毫秒级时间使图像清晰16倍，Facebook提出的DLSS算法介绍，提出了在实时渲染中使用深度学习实现超采样，从而能够只渲染低分辨率的图片，然后超采样为高分辨率的图片

参考资料

• 毫秒级时间使图像清晰16倍，Facebook提出的DLSS算法介绍
• 代码实现
  https://github.com/timmh/neural-supersampling
  https://github.com/INTEW/NSRR

改进的论文：

• MNSS: Neural Supersampling Framework for Real-Time Rendering on Mobile Devices
• High-Quality Supersampling via Mask-reinforced Deep Learning for Real-time Rendering

新的采样方法：ReSTIR

该采样方法是针对有大量光源的优化（少数光源的话就直接用NEE，进行随机光源采样）

• 使用ReSTIR采样方法
• 使用RTXDI计算直接光照，这是基于ReSTIR的
• 使用ReSTIR GI计算间接光照
  • 可以将其进一步改进为ReSTIR PT

我们应该至少基于ReSTIR计算直接光照，并考虑使用ReSTIR GI或者ReSTIR PT（优先）来计算间接光照

ReSTIR的参考资料

• RTXDI
• 从重要性采样到 RIS
• Spatiotemporal Reservoir Resampling (ReSTIR) - Theory and Basic Implementation
  文末有推荐的代码实现
• Understanding The Math Behind ReSTIR DI - 理解 ReSTIR DI 背后的数学原理
• 论文

ReSTIR GI/PT的参考资料

• ReSTIR GI: Path Resampling for Real-Time Path Tracing
• ReSTIR Path Tracing (ReSTIR PT)的论文
• ReSTIR Path Tracing (ReSTIR PT)的代码

Real-time Neural Radiance Caching for Path Tracing

本论文提出了使用神经网络实现Radiance Caching，可从中获得间接光照

用这个方法的好处是：

• 加快路径追踪
  因为间接光照可从中直接获得，不需要射线再进行bounce来计算
• online训练
  不需要预训练，直接在线训练
• 比较简单
  神经网络就是一个简单的MLP（全连接网络）

这个方法可以跟ReSTIR结合，即：
1.使用ReSTIR针对the first path vertex进行直接光照采样
2.间接光照从神经网络中获得

Instant Neural Graphics Primitives with a Multiresolution Hash Encoding

Real-time Neural Radiance Caching for Path Tracing可结合本论文提出的输入编码的方法，进一步提升最终的渲染质量

本论文提出对输入进行多分辨率的Hash编码，从而让很小的网络（如MLP）也能学到很高的质量

本文貌似主要适用于MLP网络

GPU构建BVH

目标：

• 实现PLOC算法，GPU构建BVH
• 研究更新BVH树

参考资料

https://meistdan.github.io/publications/bvh_star/paper.pdf
https://trepo.tuni.fi//bitstream/handle/10024/126597/paper.pdf?sequence=1
https://meistdan.github.io/publications/ploc/paper.pdf
https://meistdan.github.io/publications/prbvh/paper.pdf
https://github.com/meistdan/ploc
https://github.com/madmann91/bvh

其它

• Vectorization for Fast, Analytic, and Differentiable Visibility

参考资料

感觉这文章很牛：浅析ToG2021论文Vectorization for Fast, Analytic, and Differentiable Visibility

https://www.yuque.com/u1408899/zd393l/bbtshg?singleDoc

我实现的步骤

1.实现NSRR，从而实现DLSS
2.实现Real-time Neural Radiance Caching for Path Tracing
3.实现Instant Neural Graphics Primitives with a Multiresolution Hash Encoding
4.基于已有的资料，使用WebGPU开发path tracer，支持随机光源采样+LBVH+多重重要性采样+IBL
5.path tracer结合WSPK降噪
6.path tracer结合NSRR
7.path tracer使用disney BRDF+简单的BSDF
8.发布path tracer（只支持静态场景，但相机可移动；面积光+IBL，光源数量<4）
9.使用ReSTIR，支持多光源的优化
需要实现LightBVH?
10.使用PLOC，支持动态场景的BVH构建