延迟渲染技术文献摘录
延迟渲染亦即延迟着色是近几年流行起来的技术，它最大的优势是可以实现同屏中n多的动态光源（十几到几十个）。这在以往的渲染管线中是很难实现的。以下是我对现有的相关技术文献的摘录和总结。
渲染流程
延迟渲染管线可分为四个阶段：geometry, lighting, composition, post-processing
Post-processing阶段与传统的forward shading没有太大差别，这里不提，只说明一下前三个阶段。
Geometry阶段：将本帧所有的几何信息光栅化到G-buffer。包括位置，法线，贴图等。
Lighting阶段：以G-buffer作为输入（位置，法线）进行逐像素的光照计算，将diffuse lighting和specular
Lighting 结果分别保存在两张RT上作为lighting buffer。
Composition阶段：将G-buffer中的贴图buffer和lighting buffer融合，得到渲染结果。
整体渲染过程并不复杂，但在实际的过程中还是有许多问题需要考虑的，下面一一列举。
G-buffer
Geometry阶段将几何信息渲染到multi render target上（MRT），当前最多支持4个MRT。并且驱动要求4个MRT必须相同的bit宽度。RT对显存占用过大会增加带宽，降低cache命中。而简单格式的RT又会影响画质。因此决定使用32bit的RT（如A8R8G8B8，R16G16F）或64bit宽度的RT（如A16R16G16B16F）。需要在画质和性能间做出折衷。（开发时尽可能可以方便的配置）。[1]中有一些性能比较。
MRT中必须的信息：position(depth), normal, diffuse(texture)
可能需要的信息：specular, power, emissive, ao, material id
这些信息需要在这4个RT上用合理格式，合理的组织。这里还可以就存储空间和shader的复杂性做折衷。如只保存depth，然后在光照时计算position[12]。以及用球面坐标保存法线[13]。以目前的资料得出的结论是应该尽可能地pack数据，减少内存占用，多出来的若干条shader指令不会明显影响性能。
光照计算
使用延迟渲染技术最大的好处就是可以渲染光照极为复杂的场景。这里场景中的光照可以分为两类。
影响整个场景的scene light。如directional light。渲染一个screen quad，逐像素光照计算，没什么好说的。
另一类是只影响一部分区域的local light。如点光源，聚光灯，以及特效等等。这些local light只影响到屏幕上的某些像素，当然不需要逐像素的进行光照计算。最简单的方法是绘制这些光源的包围体（点光源的包围体是球，聚光灯的包围体是圆锥），包围体的大小要大于等于光源的衰减范围。这些包围体经过变换投影到屏幕上的对应区域，随后在pixel shader中计算光照。
优化：
1. 光源包围体的视锥剔除，遮挡剔除。
2. 光源包围体投影后很小时剔除；若干个靠的比较近的小光源合并成一个较大的光源[11]
3. 光源包围体的backface culling
4. 屏幕空间中没有被光源照到的，或者被更近的物体遮挡住的像素不需要光照计算，因此可以逐像素的深度剔除。
a. 使用正确的stencil light volume。类似shadow volume的方案，将渲染light volume的正反两面，得到正确的stencil mask，然后光照计算时使用stencil buffer。这种方法可以得到正确的结果，但是需要渲染每盏灯时频繁改变render state，可能会带来一定性能上的损失。
b 使用z test，可以得到“一定程度上正确”的结果。
阴影
光照计算的同时计算阴影。使用传统的shadow map，预先生成一张阴影图。考虑在编辑场景的时候指定那些重要的光源才会产生阴影。在计算shadow map时要针对光源的binding volume进行剔除。
方向光和聚光灯可以使用基本的shadow map投影（正交投影，透视投影）。点光源会复杂一些，需要使用cubic shadow map。（考虑unwrapping method[14]）
半透明
由于在延迟渲染的过程中只计算离屏幕距离最近的那个像素的光照，因此无法处理半透明物体的光照。
方案1
延迟渲染的过程中只处理不透明的物体，将所有半透明的物体放在渲染过程的最后，使用传统的forward shading渲染。
方案2
在Geometry阶段将半透明的物体和背景逐像素的交织起来，将透明度放在一个单独的通道中。按一般的方法计算光照。随后在composition阶段再根据透明度将透明物体和背景逐像素的混合起来。
优点：
光照一致性。半透明的物体也参加延迟渲染，可以接受多光源的光照。
简单并且健壮。不需要单独区分不透明物体和半透明物体，不需要单独的半透明渲染管道。
速度快。只增加了7到10条ps指令，两张贴图，只有约2%的性能损失。
缺点：
模糊。在半透明的物体上会有一点模糊，原因是在交织的过程中会有一定信息损失。
边缘锯齿。反交织的过程中半透明物体的边缘会产生一些锯齿。
只能有一层半透明。
多种材质
在延迟光照的过程中支持多种材质需要如下方案：
在G-buffer阶段输出材质的ID到G-buffer的一个通道中，随后在lighting阶段和composition阶段根据材质ID使用不同的光照函数计算光照。这种方案在sm 3.0中使用动态分支的前提下可以很好的工作。
反锯齿
Dx9 API不支持反锯齿的MRT，Dx10支持。
一种方案是使用超采样，先渲染到大的RT上，再downsample到正常的大小，得到没有锯齿的结果。延迟渲染的效率跟分辨率有很大关系，因此这种方法会极大的降低性能，基本不可取。
另一种方案是使用“intelligent blur”，只模糊物体边缘的像素：
根据相邻像素的深度和法线提取物体边界，然后对提取出的边界进行模糊。模糊时要避免不正确的泄露。如后面物体的颜色泄露到前面的物体上[11]。 总体而言实现会较为复杂。
另一种方案：pre-lighting [8][9][17]
一种pre-z rendering 和deferred rendering的结合。G-buffer阶段只保存depth和normal，然后计算光照信息到lighting buffer，格式如下
LightColor.r * N.L * Att
LightColor.g * N.L * Att
LightColor.b * N.L * Att
R.V^n * N.L * Att
最后使用传统的forward shading再将整个场景渲染一遍，期间查询lighting buffer。
与普通的deferred shading相比：
优点：
占用带宽小，第一遍渲染只输出normal，depth是自动获得的。
可以用在较老的硬件平台上，不需要MRT支持。
对现有forward shading管道改动较小，比较容易实现。
缺点：
整个场景需要渲染两遍，相当于在pre-z和forward shading中间加了一个lighting stage。
《Resistance 2》，《GTA IV》，《Midnight Club Los Angeles》使用了这种技术。
CryEngine3中也使用了这种方案。
ps. 这篇文档是月初写的，目前已经实现了一个pre-lighting的demo，效果很棒。最后还剩一些技术细节需要彻底搞清。之后我会把一些关键的技术点总结一下。
[1] Deferred Shading Demo
http://www.puzzledhero.com/projects/pages/deferred_shading_demo.html
[2] Deferred shading 2（dx 10）
http://www.humus.name/index.php?page=3D&ID=81
[3] gpu gems2 Chapter 9. Deferred Shading in S.T.A.L.K.E.R.
http://http.developer.nvidia.com/GPUGems2/gpugems2_chapter09.html
[4] Hargreaves, Shawn, and Mark Harris. 2004. "Deferred Shading." Presentation.
[5] Chapter 19. Deferred Shading in Tabula Rasa
http://http.developer.nvidia.com/GPUGems3/gpugems3_ch19.html
[6] Deferred Shading Tutorial.
http://fabio.policarpo.nom.br/docs/Deferred_Shading_Tutorial_SBGAMES2005.pdf.
[7] Deferred rendering transparency
Shaderx7
[8] Designing a Renderer for multiple lights: The light Pre-Pass Renderer
Shaderx7
[9] Light Pre-Pass Deferred Lighting: Latest Development Wolfgang Engel
http://www.bungie.net/images/Inside/publications/siggraph/Engel/LightPrePass.ppt
[10] deferred-shading-aa-alpha-blending-demo
http://null-ptr.blogspot.com/2009/01/deferred-shading-aa-alpha-blending-demo.html
[11] overcoming deferred shading drawbacks
shaderx5
[12] Reconstructing pixel 3D position from depth
http://www.gamedev.net/community/forums/topic.asp?topic_id=474166
[13] Storing Normals Using Spherical Coordinates
http://mynameismjp.wordpress.com/2009/06/17/storing-normals-using-spherical-coordinates/
[14] Efficient omnidirectional shadow maps
Shaderx3
[15] Deferred Shading Shawn Hargreaves
http://www.talula.demon.co.uk/DeferredShading.pdf
[17] Pre-lighting in Resistance 2 Mark Lee
http://cmpmedia.vo.llnwd.net/o1/vault/gdc09/slides/gdc09_insomniac_prelighting.pdf
[18] Deferred Rendering in Killzone 2
http://www.guerrilla-games.com/publications/dr_kz2_rsx_dev07.pdf
目前使用deferred shading技术的游戏：
《细胞分裂4》 ubi soft
《三位一体》Frozenbyte
《Tabula Rasa》NCSoft
《潜行者 S.T.A.L.K.E.R.》
《幽灵行动 1 2》
《杀戮地带2 killzone2》
