实时全局光照(Real-time GI)一直是计算机图形学的圣杯。
多年来,业界也提出多种方法来解决这个问题。
常用的方法包通过利用某些假设来约束问题域,比如静态几何,粗糙的场景表示或者追踪粗糙探针,以及在两者之间插值照明。
![](http://n.sinaimg.cn/sinakd20220824s/88/w1080h608/20220824/6f3e-6f4b6104feb209f366b579055d1c4719.png)
在虚幻引擎中,全局光照和反射系统Lumen这一技术便是由Krzysztof Narkowicz和Daniel Wright一起创立的。
目标是构建一个与前人不同的方案,能够实现统一照明,以及类似烘烤一样的照明质量。
近期,在SIGGRAPH 2022上,Krzysztof Narkowicz和团队讲述了他们构建Lumen技术之旅。
![](http://n.sinaimg.cn/sinakd20220824s/579/w1080h299/20220824/2e1f-a14227e2fc6ac0acf92ce2df217fc3f1.png)
软件光线追踪——高度场
当前的硬件光线追踪缺少强大的GPU算力支持。我们不知道硬件光线追踪速度有多快,甚至不知道新一代控制台是否支持它。
因此,软件光线追踪方法运用而出。事实证明,它确实是一个非常好用的工具,可以用于缩放或支持有大量重叠实例的场景。
软件光线追踪提供了一种可能性,那便是可以使用各种各样的追踪结构,比如三角形、距离场(distance fields)、面元(surfels),或者高度场(heightfields)。
在此,Krzysztof Narkowicz放弃了研究三角形,简要研究了面元,但是对于那些需要相当高密度才能表示的几何图形,对其进行更新或追踪面元是相当昂贵的。
经过初步探索,高度场是最合适的,因其能够很好地映射到硬件中,并提供表面表示和简单的连续 LOD。
因为我们可以使用所有的POM算法,比如最小-最大四叉树,因此它的追踪速度是非常快的。
此外,多个高度场可以表示复杂几何,类似于栅格化边界卷层次结构。
![](http://f.sinaimg.cn/sinakd20220824s/200/w640h360/20220824/52ea-535e5d8eba6176b2168cdfc3e2fa8288.gif)
若将其视为面元的加速结构也非常有趣,一个单独的texel就是一个受限于常规网格的面元。
除了高度场,Lumen还有其他属性,如反照率或照明,这样就能够计算出每次的照明。
在Lumen中,开发者将这张带有表面数据的完整贴花式投影命名为卡(Cards),即捕获位置。
![栅格化的三角形](http://n.sinaimg.cn/sinakd20220824s/103/w1080h623/20220824/1fe2-ec5e23289e28b99fd0439ec1c35f4868.png)
![Raymarched cards光线步进卡(高度场)](http://n.sinaimg.cn/sinakd20220824s/115/w1080h635/20220824/f20e-07e65dfebb001ed77220b129bdb1f504.png)
对于场景中的每一张卡来说,进行光线步进太慢。因此需要一种卡的加速结构,开发者选择了一个4节点的BVH。它是为一个完整的场景构建的,每一帧都在 CPU 上,并上传到 GPU。
然后在追踪着色器中,我们将进行基于堆栈的遍历,并对节点进行动态排序,以便首先遍历最接近的节点。
![BVH 调试视图](http://n.sinaimg.cn/sinakd20220824s/625/w824h601/20220824/4776-cb9873b55b390b9f745efb5d18c62eeb.png)
捕获位置
这里最棘手的部分是如何放置高度场,以便捕捉整个网格。
Krzysztof Narkowicz称,「其中一个想法是基于GPU的全局距离场。每一帧我们都会追踪一小组主射线来寻找没有被卡覆盖的射线。
接下来,对于每一个未发现的射线,我们将使用表面梯度遍历全局距离场,以确定一个最佳的卡方向和范围,从而产生一个新的卡。
![全局距离场的捕获位置](http://n.sinaimg.cn/sinakd20220824s/311/w1080h831/20220824/f178-46fd1a44ef6f4187a3e4a9d840795781.png)
一方面,它被证实可以为整个合并场景生成卡,而不必为每个网格去生成卡。另一方面,事实证明它在实践中相当挑剔,因为每次相机移动时都会产生不同的结果。
另一个想法就是把每个网格的卡作为一个网格导入步骤。通过构建几何学的 BVH 来做到这一点,其中每个节点将被转换为 N 张卡。
如下:
![栅格化的三角形](http://n.sinaimg.cn/sinakd20220824s/328/w620h508/20220824/27bf-7ef90c68789e72bf3129adcbc698a739.png)
![光线步进卡(高场)](http://n.sinaimg.cn/sinakd20220824s/387/w663h524/20220824/fc84-cec30852f644b42faa7ac1afa2f39d0a.png)
![卡位置视图](http://n.sinaimg.cn/sinakd20220824s/465/w682h583/20220824/b313-b3e053139a8a430dddc3e7538a5913b0.png)
这一方法在在寻找一个好的位置时遇到了问题,因为BVH节点并不是放置卡的好代理。
那么,研究人员又提出了另一个想法:遵循紫外线展开技术,并尝试聚类表面元素。
因为要处理数百万个由Nanite提供的多边形,因此他们将三角形换成面元。
同时,他们还切换到了一个较少的约束自由导向卡,以尝试与表面匹配更好。
![自由导向的卡位置](http://n.sinaimg.cn/sinakd20220824s/236/w525h511/20220824/920c-109948b225295b0fec4c0bb04cca3d6c.jpg)
通过尝试,这个方法对于简单的形状非常有效,但是在在收敛到更复杂的形状上就出现了问题。
最后,Narkowicz又切换回轴对齐的卡片,但是这次是由面元集群和每个网格生成的。
锥形追踪
追踪高度场的独特性质还可以实现锥形追踪。
锥形追踪对于降低噪声非常有效,因为一个预先过滤的单个锥体跟踪代表了数千条单独的射线。
![光线追踪](http://n.sinaimg.cn/sinakd20220824s/381/w1080h901/20220824/d189-98c82952bef50b1227398c0fbdd8d791.png)
![锥形追踪](http://n.sinaimg.cn/sinakd20220824s/397/w1080h917/20220824/df5b-5acf5ab2cda2400eb5938a1be03447d5.png)
对于每个卡,开发者还存储了一个完整的预过滤 mip-map链表面高度、照明和材料属性。
在追踪时,根据圆锥足迹选择合适的步进光线,并对其进行射线追踪。
![无卡边和带卡边的跟踪](http://n.sinaimg.cn/sinakd20220824s/533/w951h382/20220824/f783-710f347bda5d41c3a0f4e78090f678f3.jpg)
合并场景表示
在软件中追踪大量的非相干射线是非常慢的。理想情况下,可以使用单一的全局结构,而非多个高度场。
当锥形足迹越来越大时,实际上并不需要精确的场景表示,可以用更近似的表示替代,以获得更快的速度。
![](http://n.sinaimg.cn/sinakd20220824s/188/w1080h708/20220824/e226-b23415621e6eb0dee6d52e1565a94ae9.png)
一个更复杂的场景,有几十张卡片来追踪每个光线
![](http://n.sinaimg.cn/sinakd20220824s/766/w1080h486/20220824/1fa7-ad00919a1a8cac52bd1c17becdfc8faa.png)
第一个成功的方法是实现纯体素圆锥跟踪,整个场景在运行时是体素化的,就像经典的「Interactive Indirect Illumination Using Voxel Cone Tracing」一文中的那样实现。
![栅格化的三角形](http://n.sinaimg.cn/sinakd20220824s/178/w1024h754/20220824/2abd-099a2b551c27c460da862b2ebc5c6e04.jpg)
![光线步进卡 (高度场)](http://n.sinaimg.cn/sinakd20220824s/275/w1080h795/20220824/2857-2630f5d36af498bb7d29a1dc349d9823.png)
![体素圆锥追踪](http://n.sinaimg.cn/sinakd20220824s/215/w1024h791/20220824/08b7-affc0d009d3b83d28abf8d2075b7cd6b.jpg)
![光线步进卡继续与体素锥跟踪](http://n.sinaimg.cn/sinakd20220824s/282/w1080h802/20220824/f82b-f7c156d88de2588b262c0174a6e8f0b8.png)
而这种方法的主要缺点是,由于场景几何体的过度融合而导致泄漏,这种现象在跟踪粗低映射时尤其明显。
第一种降低图像泄漏的技术是,对全局距离场进行跟踪,只在靠近表面的地方进行体素采样。在采样过程中,随着采样范围扩大积累不透明度,停止追踪时,不透明度将达到1。这样总是在几何体附近进行精确采样,实现降低图形泄露的目的。
第二种技术是对网状内部进行体素化。这大大减少了在较厚的壁处的泄露,不过这样也会造成一些过度遮挡。
其他的实验包括跟踪稀疏体素位块和每面透明通道的体素。这两个实验的目的都是为了解决射线方向体素插值问题,即对于不垂直于壁面的射线,轴对齐的实心壁将变得透明。
体素位砖是将每个体素存储一个位在一个8x8x8的砖块中,以指示给定的体素是否为空。然后使用两级 DDA 算法进行光线步进。具有透明面的体素相似,但 DDA相同,并且沿着光线方向透明度不断上升。结果表明,这两种方法在表示几何体方面的效果都不如距离域,而且速度相当慢。
![带有透明度的体素](http://n.sinaimg.cn/sinakd20220824s/766/w1080h486/20220824/c2fb-b5921ef6c3d0cfcbf1ba6e0db79f37cd.png)
最早的跟踪合并表示的方法是,对全局距离字段和使用全局每个场景卡的着色命中进行锥形跟踪。即遍历一个 BVH,找出场景中的哪些卡影响采样点,然后根据锥形足迹对每张卡的适度滑步水平进行采样。
![](http://n.sinaimg.cn/sinakd20220824s/107/w1080h627/20220824/ef5d-b29f5057f68322559e9db0e7ec1b37d5.png)
![](http://n.sinaimg.cn/sinakd20220824s/101/w1080h621/20220824/6b36-d6fdbcb2fd0838108d5f3769568a7235.png)
本文放弃了这种方法,因为当初没有考虑只用它来表示远场轨迹,而是把它看作是高场光线步进的直接替代。有点讽刺的是,这种被抛弃的方法与我们两年后最终达成的解决方案最为接近。
第一个演示
到这里,已经可以产生一些相当不错的结果了:
![](http://n.sinaimg.cn/sinakd20220824s/10/w1024h586/20220824/abd1-fd5bca022ac392e49c1a0b2c1cedb7ef.jpg)
尽管如此,还是遇到了很多图形泄漏的问题,而且在这个简单的场景中,即使在一个高端 PC GPU 上,性能也不是很理想。
为了解决泄漏问题,以处理更多的实例、在PS5上以8毫秒以下时间完成处理。这个demo堪称是真正的催化剂。
与以往的方案相比,第一个变化也是最大的变化是,用距离场跟踪取代高度场跟踪。
为了遮蔽生命点,从卡片上插入生命点的光线,因为距离场没有顶点属性,这样,未覆盖的区域只会导致能源损失,而不是泄漏。
出于同样的考虑,将体素锥形追踪改为全局距离场射线追踪。
与此同时,我们还做了很多不同的优化,并通过缓存方案对Lumen的不同部分进行了时间分流。值得注意的是,如果没有锥体追踪,我们必须更积极地去噪和缓存追踪,但这又是一个漫长而复杂的故事。
这是我们发送第一个演示后的最终结果,在PS5上一直低于8ms,包括所有共享数据结构的更新,如全局距离字段。目前的性能表现甚至更好了,比如最新demo的完成时间接近4毫秒,质量上也有明显的改进。
![](http://n.sinaimg.cn/sinakd20220824s/764/w1024h540/20220824/140f-48261113f7f7a7dc0a125ae0ed2c90a2.jpg)
尾声
总之,本文对整个Lumen进行了全面重写,还有许多不同的想法没有实施。另一方面,有些东西被重新利用。就像最初我们用卡片作为追踪表示,但现在用来作为缓存网格表面的各种计算方式。和软件追踪类似,开始是我们主要的追踪方法,主要是圆锥体追踪,但最后成为一种缩小规模和支持具有大量重叠实例的、复杂重度场景的方法。