Lookof 's Wild

Last of the Wild

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

 


    好吧,在被这个算法折腾了许多天之后,我终于对它竖起了中指。这几天的经历让我明白了一个道理:对于数学基础不好的人来说,对待图形学最好远观不可亵玩焉;如果坚持硬闯却又碰巧E文不咋地,那受罪程度真叫人生不如死。最后,看待算法最好别太坚持“追求极致”,如果付出了太多而收获了太少,那么采取一种“妥协”的态度也未尝不可。anyway,LVSM算法我没有全部弄明白,但也不是没有收获。虽然目前这种半瓶子醋的状态让我尴尬,但除了适可而止,我还能怎么样呢。毕竟,智商就这么点~

Shadow Map

    基于硬件的动态阴影一般有两种技术,Shadow Volume和Shadow Map。 不过SV已经处于被淘汰的境地,加上算法复杂,和occluder复杂程度有直接关系,因此已不是主流;SM(呃,这名字)算法简单,和场景复杂度无关,唯一的成本就是两遍pass渲染。刚才说这两种算法都是基于硬件(Hardware)的,针对SM来说的话就是需要“深度模板缓存(DSB, Depth-Stencil Buffer)”以及“渲染到纹理”(RTT, Render To Targets)”的硬件支持。不过,无论是GL还是DX,对这两项的支持通常都不是问题。此外如果硬件支持可编程管线(programmable pipeline)的话更好。因此学习阴影的话建议还是选择SM。

算法思想

    鉴于SM的介绍网上有成堆的资料,因此看不明白的可以找其他读物阅读。SM进行两遍pass渲染,第一遍pass站在灯光(light)的角度对场景进行渲染,此时打开z-buffer,并RTT到自己创建的一张纹理中,此时纹理中的像素代表的是,以light的角度看过去,相应位置距离light最近的深度,注意这里你要辩证地看,这也同时表示从light中射出的光最远只能打到这个位置了(再往后的就被这个像素遮挡了)。而这张纹理图就是shadow map;第二遍pass站在视点角度再次对场景渲染,并在光栅化阶段时,对每一个要处理的像素,坐标变换到light坐标系中,并与对应的shadow map中的像素比大小:如果current pixel > shadowmap pixel,说明该像素被挡住了,因此判断这个像素处于阴影中,应该将此像素涂黑;否则,表示它处于光照中,接下来计算它的光照值。对所有的像素进行如此操作,就完成了阴影的绘制。

缺点

    SM虽然不错,但远非完美。

    1)由于它的阴影算法是“像素级”的,因此不免在阴影边缘留下“锯齿化”的走样痕迹;
    2)这是一种硬阴影,没有“半影”(penumbra),从黑到白,从0到1,中间没有自然过渡,导致不真实;
    3)对灯光类型有限制,一般要求聚光灯,最起码也是方向光,对于点光源无奈。因为点光源按此原理的话要多个RTT(一般是6个,组成一个cube,灯光置于中心),开销太大。
    4)对于第二遍pass处理像素阶段,变换到light空间的pixel不可能和shadowmap中的像素值精确匹配,导致z-fighting问题(关于z-fighting,看这里。注意要FQ,因为wiki的图片为伟大地墙在外面了。可如果不看图,又没法直观领悟到那是什么)。

    因此,围绕这些问题,业界牛牛们都提出了许多行之有效的解决办法。其中1),2)是重点,讨论的也最多,因此放到下面说;3)的话貌似没有什么办法,这是SM算法本质决定的,如果坚决用点光源,就做好成本花费的准备;4)的问题可以加一个z-偏移量来解决。

PCF(Percentage Closer-Filter)

    1),2)这二者问题的本质是相同的。解决办法是“模糊像素”,PCF(Percentage Closer-Filter)就是这样一种技术,它的本质是线性滤波,比如对2*2像素三线性滤波,那么其结果就是4个初始结果的带权均值,比如0.25或者0.5或者0.75这样。这种办法也是对付锯齿化走样的常规方案。通过滤波就能产生过渡颜色,同时也起到模糊锯齿的作用。

    但PCF也有缺点。第一,它所产生的软阴影(soft shadow)是伪软阴影,因为它的“半影”是通过模糊边缘来模拟,不是真正计算出来的,这样无论灯光离物体有多远、光源面积有多大,它产生的半影范围永远都是固定的,这有悖真实;第二,滤波时需要对相邻像素采样,采样本身又是一个费时费力的过程。因此采样的区域越大,虽然其效果越好,但成本越高,效率越低。

    有人说对纹理的采样滤波是通过硬件执行的,速度很快,因此不会出现上面描述的“效率低下”——没错,如果我们打算直接对这张shadow map滤波的话,那效率的确不是问题。但单纯地滤波shadow map没有意义,滤波之后的均值还是depth,而只靠depth我们是无法产生阴影的。阴影的产生取决于“比较”:shadow map中像素代表的depth值,与我们考察的对应当前像素的depth值之间的比较。如果我们拿滤波后的depth去比,其结果还是非0即1,非黑即白,因此产生不了过渡的阴影。

    那PCF的“滤波”是怎么做到的呢?它是先作比较,产生出4个(2*2像素)0、1结果,然后再对这4个0、1结果进行平均,得到一个介于0到1之间的值。这意味着,每滤波一个像素,都要手动采样4次并比较4次才能得到结果。这就是PCF的代价所在,毕竟手动计算和硬件处理在效率上可不是同日而语的。

    PCF的效率影响了它的使用效果。对此,有另外一种思路可以达到同样甚至更好的效果,并且还可以直接滤波shadow map(意味着支持硬件),效率大幅提升。这就是Variance Shadow Map 。

 

Variance Shadow Map

   Variance在这里为“方差”之意。 VSM算法的背后用到了一个概率学原理:切比雪夫不等式(Chebyshev’s Inequality)。CI大意是说,在一个分布未知的样本中,如果知道了该样本的期望E与方差D,那么就可以估计出样本分布在某一区间的概率上限。教科书中常见的描述是双端的形式,即表示样本的“绝对值”大于(或小于)某值的概率;而这里用到的是单端形式(one-tiled),考察的是样本本身。它的公式描述如下:

f162equ03

    其中μ代表期望,σ代表方差,t代表一个指定的样本值,p代表概率。这个公式表明,在分布未知的情况下,样本中所有随机变量大于等于某一样本值t的概率有一个上限,就是pmax(t),它由样本的期望、方差与t来决定。

    另外,还需要介绍下期望与方差的求算。下面的图可以简单说明这一切:

 

f162equ01

 

f162equ02

 

    M1、M2表示“矩”(Moment)。这又是一个概率学概念,可以把数学期望μ看作一阶矩,把方差σ看作二阶钜。   

算法思想

    VSM与标准的SM基本是类同的:都分两遍pass渲染,并且每一遍的渲染目的都一样。唯一不同的是,在第一遍pass中,存储在Shadow Map中的是一个深度值(z-depth),而在Variance Shadow Map中,存储的是两个分量(two components): 深度值与深度值的平方。这可以借助占用像素的两个通道来办到(比如R通道放深度值,G通道放深度值的平方)。接下来,就触及到该算法的核心:完成第一遍pass后,对VSM进行每单位区域(比如,仍然是2*2为一个range)的硬件线性滤波。滤波后每像素存储的两个分量,其意义就发生了微妙的变化:第一个分量表示该range内所有像素深度值的均值,也可以看作对应的期望,即上面的M1;而第二个分量表示该range内所有像素值的平方的期望,即上面的M2。依据M1和M2我们就可以求出该range的μ和σ。按照切比雪夫不等式,我们就可以估计出这片range内其深度值大于某一值t的概率上限。

    第一遍pass中,我们逐一计算M1和M2并存储到VSM中,然后对这张VSM进行范围为range的硬件线性滤波;第二遍pass中,我们依然用视点角度渲染场景,对光栅化的每一像素,计算它在灯光坐标系中的深度值,并把这个值设为t;调取VSM中对应位置的像素,利用M1和M2计算出μ和σ,先判断t与μ的大小关系:如果t<=μ,则表示当前像素的深度小于等于range的深度均值,则判断它没有被遮挡;否则,判断它被遮挡,这时利用切比雪夫不等式计算出pmax(t),该值表示range内深度值大于等于t的像素个数的概率上限,这个概率可以看作比率。该比率表示光照射到当前像素的光线数量(比t小的像素表示它遮挡住了当前像素,也就是说光线没有射到该像素上;相反,则就表示射到了t上),因此,这个比率就相当于光照强度,这是一个介于0到1之间的过渡数值。用它乘以黑色,就是最后实际的阴影值。注意,我们的算法是用上限值pmax(t)近似模拟了实际比率p(t),但其实pmax(t) > p(t),只不过二者相差不大。但这个误差依然会导致一些问题,会放到下面讨论。

 

优点

    VSM的实际效果好于等于进行了PCF的SM。相比单纯的SM,它实现了软边缘以及消除了锯齿;相比PCF,它的效率大大提升,实际上这是它的主要优势。上面我们提及,PCF因为无法直接利用硬件滤波SM,而不得不手动采样滤波“比较”结果来产生0与1 。 但VSM却没有此劣势,它可以直接硬件滤波,利用滤波产生了区域深度值的一阶矩与二阶矩,再由此计算出期望和方差,进而得到比率上限值。可以说,正是利用了切比雪夫不等式,使得硬件滤波派上了用场,从而大大提升了效率,同时效果又非常好。这真的是一个相当棒的设计。

Light Bleeding

    光渗现象(light bleeding)是VSM最臭名昭著的一个缺点。虽然它不一定会在你的场景中发生,但是,它的确有发生的危险,尤其是在深度复杂度较高的场景中。按我的理解,深度复杂度应该是指场景中互相遮挡的occluder比较多时的情况。下面一幅图说明了这一点。

 

08fig07

 

    obj.c被obj.b完全遮挡住了,但你可以看到在obj.c的filter region内,有一段较亮的区域,这本是不该被照亮的地方,这便是light bleeding。你可以发现obj.b的效果完全是正确的,但倘若它下面还有东西,比如这里的obj.c,那么在下层就有可能发生光渗,尤其是Δy远远大于Δx的时候。发生这种现象并不是碰巧哪里出错了,这是由切比雪夫不等式的本质决定的:它只估算出概率发生的上限,而不是准确值。换句话说得出的值永远是偏大的。你可以观察pmax(t)的公式,你会发现无论pmax(t)有多小,只要方差σ不为零,这个值就永远不为零,这样light bleeding就无法避免了。下面是一张发生light bleeding的实际效果图:

 

未命名 光通过板凳“渗”到了地上,形成了一些怪异的光圈



    我查了一些资料,在VSM的基础上解决light bleeding的办法并不是很多。Gpu Gems3提供了一种“减轻”的方法:即当比率小到一定程度时,干脆将其设为0 。 但这并不能消除lb,而且如果条件越苛刻,它所创造的半影也越暗。另外还有一种Exponential VSM技术,不过它是大作ShaderX6其中一篇文献,至今没找到免费阅读的合理途径。在这里介绍的是另一种经典的方法:Layered VSM 。

 

Layered Variance Shadow Map

    顾名思义,LVSM是对VSM的分层(layered),每一层存储一张VSM,以达到对深度值的“分辖”控制。在每一层中,都有一个包装函数(wrapped function),对原始的深度值进行包装,所谓“包装”,其实就是对深度值进行分段,判断它属于哪一层管辖的深度,然后进行该层VSM的求算。典型的包装函数如下:

 

未命名2

   

    其中,pi,qi是第i层的边界,t是具体的深度值,φi(t)是包装后的值。可以看到,这样一个函数把每一层的深度都卡(clamp)在了[0,1]之间,并把该深度重新缩放在相对于该层的考量空间中。例如,对0到1的全局深度空间划分为5层:[0, 0.22], [0.2, 0.42], [0.4, 0.62], [0.6, 0.82], [0.82 1]。可以看到每层之间都有一定的重叠,这是为了处理好层与层之间的边际问题。在第一遍pass中,我们用5个VSM来渲染它们。渲染每一个像素时,对该像素的深度进行“包装”(根据上面的公式),这实际上就把该像素“派发”到管辖它的层(layer)中。第二遍pass中,我们依然站在视点角度再次渲染场景,对待光栅化的像素,判断它在灯光坐标系中的深度,然后找到对应的layer,然后只用该层layer的VSM来计算它的阴影,其处理手法与标准的VSM中处理手法一致。这种办法可以大大减弱light bleeding问题,甚至完全消除。而且layer设置的越多,效果也越明显,当然。代价也相应也越大。

    LVSM的本质是有效降低了方差σ。我们知道,“方差”表示样本单体与样本期望的偏离程度,方差越大,表示偏离越大,而偏离越大,发生light bleeding的机率也越大(看pmax(t)公式的分子)。所以可以用方差来反映发生lb的机率。通过分层,“偏离”的程度被大大降低(两个彼此之间偏离过大的像素深度被分到了两个不同的层layer,彼此之间毫无影响),因此方差减小了许多,从而有效降低了lb的发生。

Multiple Render Targets

    现在我们讨论一下如何把深度值渲染到多个VSM中。这用到了需要硬件支持的技术:多渲染目标(MRT,Multiple Render Targets)。MRT和RTT是一样的,只不过RTT是渲染场景到一个纹理目标中,而MRT则要把相同的场景渲染到多个不同的纹理目标中去。该概念的介绍见这里。这里的算法中,有多少个layer,就有多少个render target,每一层layer占用一个render target。至于硬件支持render target最大的数目,以及甚至说支不支持MRT,取决于你购买的显卡的能力,在使用前需要检查。注意这和早先说过的处理点光源的做法还不一样:处理点光源时,我们需要多个不同角度的RTT,每一个RTT都要重新计算所有的坐标变换,每一个RTT都要利用一遍pass;而这里的处理做法,是把同一个角度(即站在有向灯光的角度)看到的场景渲染到不同的纹理目标中,只需要一遍坐标变换,而且这一切都发生在同一个pass中。这可以获得硬件加速的支持。因此MRT具有很高的效率。

Weighted K-MEANS Algorithm

    还要讨论下如何分层。实际上这是LVSM算法中的关键:如何智能地分层,能够使“消除light bleeding”效果最大化?

    这里用到了一种聚类(cluster)算法,据我所知“聚类”是“数据挖掘”领域内的一个概念,但我并不熟悉它,因此只能临时抱佛脚。关于聚类的介绍建议看这里。这里用到一种典型的聚类算法:带权k-means 算法(Weighted K-MEANS Algorithm)。详细的介绍我无法提供,自己去找吧。但可以解释一下用在这里的理论基础:当我们渲染一张SM时,我们实际上是存储了一个分布在一维空间的深度集合。比如对于一张512*512的shadow map,那么就有512*512个深度值坐落在[0,1]这个空间中。它们是怎么分布的?我们当然无从得知,但它们当然也不会平均分布。我们虽然不知它们的分布状态,但我们可以想见,它们一定是按“一堆一堆”的形式聚集在一起的,比如以0.2为中心有一个聚落,又以0.75为中心有一个聚落,等等如此。为什么?因为这张shadow map映射的一个场景的形象,而这个场景中每一个“表面”必然是平滑连续过渡的,然而当前景和背景相离较远时,就会出现一个断层,反应在深度上就是一个突然的跳跃(比如从0.2突然跳到了0.75),从而产生了另外一个中心点。既然这个集合符合这样的规律,那就一定可以为这些值按深度的聚落中心归类,从而找出这些断层的大概位置,这就是使用“聚类”算法,使用k-means算法的原因。

    然而,关于此的具体过程欠奉。因为我脑子里一直搞不清一个问题:如何对于一张VSM在不手动采样的前提下遍历深度数据的? 不遍历,没法找聚落中心;遍历,由于是手动采样,效率又会大打折扣。况且,这个paper竟然说这里用的是迭代法(iterate)。作者没有提供任何代码以及伪码,所以我在浆糊的脑子里转了几圈,最终放弃了对它的研究。

    我自己的一个简单设想是,其实在最初计算VSM时,就找到map中一个最小深度值min和最大深度值max,然后对此[min,max]区间进行平均分层,虽然这个办法的确不够智能,但我想,足够了。通过下图可以推测出,用这样一个“不智能”的土法子,当layer数为6时,效果还不错。

 

未命名3 
看,Uniform LVSM-6(94fps),虽然效果略差,但比同级的Lloyed LVSM-6(73fps)效率要高,还是赚了 =.=!

 

 

Next

    接下来,我就要尽快抓紧对此的实现了。
   
    飞舞吧,山都满坡!

 

Reference

1.gpu gems3 : Chapter 8. Summed-Area Variance Shadow Maps
2.  http://www.punkuser.net/lvsm/

posted on 2010-03-21 01:59  lookof  阅读(4761)  评论(4编辑  收藏  举报