交互性体验和支撑工具快速发展

在弱交互领域，虚拟现实视频的社交性、沉浸感与个性化特质日益凸显，强弱交互内容界线趋于模糊。由于体育赛事、综艺节目、新闻报道与教育培训等直播事件受众群体明确，商业落地相对成熟，VR直播成为丰富虚拟现实内容的利器，可较大程度上缓解目前高品质VR 内容匮乏、“有车没油”的问题。 对于手机式、一体单目/多目、阵列式、光场式等内容采集设备的技术选型，VR 直播呈现两极化趋势，即满足专业生产内容（PGC）高质量、多格式与用户生成内容（UGC）操作便捷、成本可控的发展要求。此外，作为 VR 直播相比传统直播独有的关键技术，图像拼接可基于特征、光流等多种不同的处理域进行拼接，其中，图像配准涉及特征空间、相似性度量、搜索空间和搜索策略的选择，图像融合须考虑拼接处过渡自然和整体画面协调，因摄像机和光照强度的差异，图像间亮度和色度不统一，缝合后的图像会出现明暗交替或有明显接缝的问题，因而需要进行亮度和色度的均衡处理。 当前，VR 直播可分为表演区与观众区，在观众区引入以用户为对象的虚拟化身，有助于进一步增强视频社交性。同时，通过Unity、Unreal 等开发引擎进行虚拟现实拍摄与制作，而后传至头显终端，可避免基于用户交互信息的本地渲染负载。未来，随着 VR 直播的常态化，制作上云将成为简化虚拟现实内容摄制流程的关键技术。 在强交互领域，VR 社交成为游戏以外的战略高地，虚拟化身正在拉开虚拟现实社交大幕。虚拟化身技术由来已久，在传统游戏中用户可见能够控制的整体人物形象（第三人称）或看到模拟手和身体等部分形象（第一人称射击游戏），受限于 2D 视频、狭窄视野及有限追踪感知能力，虚拟化身难以被视为用户本人。 相比之下，VR 用户对虚拟化身的感知与控制构成了不再脱钩的交互闭环，即追踪采集的用户数据被实时投射于虚拟化身外观及行为表现。得益于 3D 沉浸视频、超大视角及进阶追踪能力，位置、外貌、注意力、姿态、情绪等日益多元精细的身态语汇激活了虚拟化身潜藏的社交表现力。通过营造多人共享的临场感，VR 社交进一步放大了虚拟现实强交互业务的互动程度，并结合日常交流所须的适宜间距、注视转头、手势表情等潜藏的通识准则来优化虚拟化身。 此外，一味追求照片画质级的虚拟化身存在“恐怖谷”效应，过高拟真度的外貌表现大幅拉升了用户对虚拟化身行为举止拟人化的心理预期，从而降低了虚拟化身总体可信性。如何持续提高虚拟化身真实感，同时精准调和外貌与行为拟真度间的配伍关系，成为 VR 社交虚拟化身的主要技术挑战与发展方向。 在技术实践上，虚拟化身跨 VR 终端平台的兼容性不断提高，相关内容制作 SDK 开始向游戏引擎中集成迭代，体育赛事、综艺活动与会议展览等 VR 直播业务解锁了虚拟化身自定义的市场需求，用户在Venue 等代表性虚拟现实内容直播平台中，可根据发型、服饰、妆容、配饰等配置组合，个性化定制亿万种虚拟化身。由于 VR 社交领域存在诸如多达数百人同时加载虚拟化身等性能挑战，针对不同的场景功能，可通过降低 Drawcall 频次、设置渲染优先级、匹配差异化的顶点数目与纹理精度等技术实践，梯度调整虚拟化身视觉质量，优化性能表现。 在技术选型上，基于口、眼、表情、上肢拟真等的虚拟化身技术初步成熟，现已开始用于 VR 社交应用。点功能（Dynamic Fixed FoveatedRendering, DFFR），系统可根据 GPU 帧率高低自动决定是否触发固定注视点渲染，内容开发者无须延续 Oculus Quest/Go 平台上手动配置 FFR 的经历，也无须为 Quest 2 DFFR 修改既有内容应用。鉴于眼球运动致使注视点区域随之改变，基于眼球追踪的可变注视点渲染成为业界热点，在日常扫视（Saccade）过程中，眼球运动速度高达每秒900 度，因而精准化的眼球追踪成为了技术挑战。此外，作为注视点技术路径的新生分支，注视点光学通过组合低分辨率/大 FOV（60+°）与高分辨率/小 FOV（20°）两个显示系统，且以手机面板与微显示器或两个不同分辨率的微机电（MEMS）扫描显示系统为常见搭配，旨在实现用户体验分辨率不因渲染算力与显示像素数减少而降低。当前，注视点渲染与注视点光学日益成为支撑上述目标的焦点性技术架构，业界对此积极布局，且两者具备潜在的结合空间。通过梳理各类注视点技术与相关量产终端可知，基于眼球追踪的可变注视点渲染与注视点光学已成为时下技术产业化的主攻方向，且后者对渲染算力及显示像素数要求较低f Dome 后，于 2020 年开始了第三代原型机实验室外场景环境下的集成验证，Half Dome 3 通过电子变焦取代了此前的移动式机械变焦，极大程度的优化了头显体积重量与系统可靠性，有望开启可变焦显示技术产业化的量产之路；全息显示通过全息方式显示多个焦面，可作为未来解决辐辏调节冲突的技术路径。目前，由于光相位调制器（SLM）价格昂贵、全息图生成算法尚不完善、所须计算量大且难以实时完成等因素致使该技术短期内难以推广应用。

在内容相关的其他支撑性技术上，WebXR、OS、OpenXR 等重点领域稳健发展

作为电脑、手机、平板等智能终端用户交互窗口的延续，据统计，约有 2/3 虚拟现实头显用户使用浏览器。WebXR 推动了虚拟现实内容与各类终端平台、操作系统间的解耦，提供了更加便捷的网页 VR/AR 应用开发环境，将成为下一代 Web 沉浸体验的基石。 2020 年 7 月 W3C 发布新版 WebXR 规范草案，与此前 WebVR 相比，WebXR 新增了对 6DoF 追踪定位、交互外设与 AR 应用的支持，A-Frame、React360、Three.js、Babylon.js 等网页开发框架均已支持。 当前，内容不足成为虚拟现实用户面临的主要体验痛点，内容生态发展成效被碎片化的软硬件平台分化稀释，2019 年 7 月 Khronos 对此发布了 OpenXR 1.0，旨在实现内容应用无须修改移植即可跨头显平台运行。同时，OpenXR 强化了对 WebXR 网页开发框架的支撑，深化了对新一代 3D 图形应用程序接口 Vulkan 的协同，适配了手势、眼动追踪等多元化交互方式，丰富了 5G 边缘计算等应用场景。 在操作系统方面，实时性、多任务、感知交互与端云协同成为当前发展焦点。手机 OS 对于虚拟现实用户姿态变化难以做出实时性响应，系统设计存在诸多缓存逻辑，虚拟现实 OS 更像稳态系统，不论用户主动操作与否，从姿态到渲染保持稳定运行，MTP 时延约束成为实时性挑战。由于虚拟现实空间可极大延展，支持用户同时可见更加丰富信息，操作系统多任务特性成为必然需求。在三维系统中的多任务化须实现系统多应用的三维化合成，在虚拟现实空间中布置各应用的运行位置，并实现 3D 交互，如微软 Hololens、Facebook Quest 等代表性终端对操作系统三维化多任务运行的支持。 2020 年虚拟现实操作系统持续演进，VR、AR OS 在感知交互方面日渐趋同，基于计算机视觉的头手成为发展重点，脸书发布 Oculus Quest 系列验证了计算机视觉实现的可行性和准确性，须挂载 4 颗以上实时性要求较高的摄像头，操作系统亦须适配调优。此外，对于云化虚拟现实业务需求，如何同步终端和云端数据成为操作系统技术演进焦点，如微软推出 Hololens云方案，用户可在云端记录三维地图扫描信息。开发引擎方面，基于OpenGL ES 底层框架，面向移动设备的低功耗、可视化开发引擎助力VR 应用开发效率提升。对于移动虚拟现实设备，如何平衡性能和功耗成为选择虚拟现实开发引擎的关键因素。Unity、Unreal 借助于其在游戏领域的优势积累，目前作为虚拟现实强交互应用的主要开发引擎。近年来随着国内虚拟现实产业的快速发展，Nibiru Studio 等国产虚拟现实开发引擎持续完善。智能加速高性能降噪处理，从而减少高保真图像渲染时间。在端云协同架构方面，随着电信运营商云化虚拟现实发展推广，针对多样化的应用场景与网络环境，人工智能有望成为渲染配置自优化的重要探索。