基于时延不确定性的云渲染情况示意
a
注视点技术入选业界标配，基于眼球追踪的注视点渲染与注视点光学成为热点技术架构。由于提供高分辨率与色彩视觉的视锥细胞集中分布在人眼最中心区域（Fovea），眼球中央向外的区域视觉感知加速模糊（30°内每远离 2.5°视觉分辨率降低一半），业界据此提出注视点渲染技术，通过对视场角内各部分画面进行差异化渲染，显著节省算力开销，据 VRPC 统计，注视点渲染已成为 2018 年虚拟现实渲染领域专利数量最为富集的细分技术。 2020 年10 月脸书发售第二代VR一体机 Quest 2，新增动态固定注视点功能（Dynamic Fixed FoveatedRendering, DFFR），系统可根据 GPU 帧率高低自动决定是否触发固定注视点渲染，内容开发者无须延续 Oculus Quest/Go 平台上手动配置 FFR 的经历，也无须为 Quest 2 DFFR 修改既有内容应用。鉴于眼球运动致使注视点区域随之改变，基于眼球追踪的可变注视点渲染成为业界热点，在日常扫视（Saccade）过程中，眼球运动速度高达每秒900 度，因而精准化的眼球追踪成为了技术挑战。此外，作为注视点技术路径的新生分支，注视点光学通过组合低分辨率/大 FOV（60+°）与高分辨率/小 FOV（20°）两个显示系统，且以手机面板与微显示器或两个不同分辨率的微机电（MEMS）扫描显示系统为常见搭配，旨在实现用户体验分辨率不因渲染算力与显示像素数减少而降低。当前，注视点渲染与注视点光学日益成为支撑上述目标的焦点性技术架构，业界对此积极布局，且两者具备潜在的结合空间。通过梳理各类注视点技术与相关量产终端可知，基于眼球追踪的可变注视点渲染与注视点光学已成为时下技术产业化的主攻方向，且后者对渲染算力及显示像素数要求较低f Dome 后，于 2020 年开始了第三代原型机实验室外场景环境下的集成验证，Half Dome 3 通过电子变焦取代了此前的移动式机械变焦，极大程度的优化了头显体积重量与系统可靠性，有望开启可变焦显示技术产业化的量产之路；全息显示通过全息方式显示多个焦面，可作为未来解决辐辏调节冲突的技术路径。目前，由于光相位调制器（SLM）价格昂贵、全息图生成算法尚不完善、所须计算量大且难以实时完成等因素致使该技术短期内难以推广应用。
各类注视点技术基本情况
人工智能将成为虚拟现实渲染质量与效能的倍增器与调和剂。当前，业界日益聚焦深度学习渲染这一热点领域，以期针对多样化的业务场景，解锁平衡质量、速度、能耗、带宽、成本等多维渲染指标间的技术定式。 在渲染质量方面，比之基于传统渲染软硬件架构的超采样（SSAA）、多重采样（MSAA）、快速近似（FXAA）、子像素增强（SMAA）、覆盖采样（CSAA）、时间性抗锯齿（TXAA）等抗锯齿技术，在 2018 年英伟达发布 GeForce RTX 20 系列显卡中，推出了包含深度学习超采样（DLSS）功能的驱动程序，通过以较低分辨率渲染图像再经 AI 算法填充像素的方式，显著提升了画面精细程度。得益于独立的 AI 计算单元，DLSS 运算基于 Tensor Core 完成，无须占用显卡 CUDA 通用运算单元，释放了传统抗锯齿技术对渲染计算资源的负载压力。2020 年英伟达推出 DLSS 2.0，通过持续优化深度学习算法，从而以较低渲染分辨率进一步提升了体验分辨率与帧率的性能表现。 在渲染效能方面，为在移动终端平台加载高质量的虚拟现实沉浸体验，业界结合深度学习与人眼注视点特性，积极探索在不影响画质感知的情况下，如何进一步优化渲染效能的技术路径。脸书提出一种基于AI的注视点渲染系统DeepFovea，利用生成对抗网络（GAN）的新近研究进展，通过馈送数百万个真实视频片段模拟注视点外围像素密度降低来训练 DeepFovea 网络，GAN 的设计有助于神经网络根据训练视频的统计信息来补缺细节，进而得到可基于稀疏输入生成自然视频片段的渲染系统。测试显示该方案可将渲染计算负载降低约十倍，且能够管理外围视场的闪烁、锯齿和其他视频伪影。 在图像预处理方面，预先对图像进行降噪处理有助于提升后续图像分割、目标识别、边缘提取等任务的实际效果，与传统降噪方法相比，深度学习降噪可获得更优的峰值信噪比（PSNR）与结构相似性（SSIM），如英伟达 OptiX 6.0 采用人工智能加速高性能降噪处理，从而减少高保真图像渲染时间。在端云协同架构方面，随着电信运营商云化虚拟现实发展推广，针对多样化的应用场景与网络环境，人工智能有望成为渲染配置自优化的重要探索。
