紫光展锐先进技术科普：跨越时空，XR的沉浸式之路如何构建？

自计算机技术出现之后，人与硬件开始建立起交互的关系。站在人机交互的视角回看硬件发展的历史，过去的50年，硬件的形态大致经历了从游戏主机到个人电脑，再到智能手机的过程，分别对应的是垂直计算硬件、通用计算硬件，进而趋向小型化硬件的发展路径。XR的出现为新一轮人机交互带来了丰富内涵。

由XR技术和设备持续迭代所产生的内容-硬件-生态正向循环链，将我们带到了元宇宙的入口处。对 XR 产业来说，支撑其发展的三大核心底层技术包括视觉和智能计算技术、大屏显示技术和高速连接技术。

紫光展锐长期投入IP 集成能力、音视频多媒体 IP 等核心技术，在5G/Wi-Fi 等通讯基础、沉浸式大屏显示所需的高动态（HDR）、广色域（WCG）、高帧率（HFR）等方面拥有持续创新的先进技术。除产品研发外，紫光展锐深度参与了XR行业标准，并积极与生态合作伙伴为XR技术研究和产业推进作贡献。

随着产业生态各方融合创新的加速，XR及其涵盖的关键技术能力逐渐融入消费级日常生活的方方面面。在市场蓬勃发展中，随时随地感知、传递信息，体验虚实之间的多元世界离我们将不再遥远。

XR是什么？

扩展现实技术（eXtended Reality，XR）包括了虚拟现实（Virtual Reality，VR）、增强现实（Augmented Reality，AR）、混合现实（Mixed Reality，MR）等多种形式。它将计算和AI技术、音视频处理技术、仿真技术、通信技术等集于一体，通过模拟真实世界构建虚拟环境或创造全新的虚拟空间，带来三维的沉浸感和多感官的虚拟交互体验。

围绕视觉沉浸感、物理沉浸感、认知沉浸感三方面，XR汇集了不同的数字技术，打造多维化的沉浸体验。具体来说，视觉沉浸感依托于超高清显示技术、超高软硬件算力、高数据传输技术等支撑性技术，物理沉浸感旨在打破物理与数字空间的界限，包括多模态交互、空间计算、三维重建、定位与地图构建等核心技术，认知沉浸感进一步拓展了XR对现实场景的语义与几何理解，指向更多包括：脑机接口、裸眼3D、光场等未来发展前景广阔的技术。

XR关键技术有哪些？

视觉质量是XR提供极致体验的关键。人体所接收的80%的信息都来自于视觉感知，接近人眼的视觉体验需要超高像素密度和合适的视场角FOV。其中像素密度取决于衡量图像精细程度的图像分辨率和显示分辨率，高分辨率可以改善“纱窗效应”¹，使得清晰度达到与真实世界无限接近的程度。视场角的大小影响到XR的沉浸感和清晰度，一般来说视场角越大，图像需要渲染更多画面，视觉沉浸感也就越强，相应也需要更高算力的支持。

多模态感知交互融合了面部追踪、眼球追踪、语音识别、手势交互、触觉模拟等多类技术，使人们能够以最适合自己当前场景与业务流程的方式进行接入和交互。

以语音识别为例，不同场景下对设备语音识别和处理能力的要求不同。家居场景中，噪声类型多、声源位置复杂，拾音距离远、信噪比差是提升用户体验优先考虑的问题；在游戏场景中，要强化音频感知能力，结合AI降噪、AI增强等技术，增添临场感……

从沉浸式体验出发，紫光展锐推出了支持从清晰语音、高效视频编解码到超高清智能显示，覆盖智能终端领域全场景的音视频系统方案，进一步推动XR产品与应用落地，实现从移动到沉浸式的体验升级。

如首款搭载NPU的智能显示芯片平台M6780中，集成了完整端侧智能语音方案，通过紫光展锐自研的多麦克风阵列音频捕捉算法、智能语音唤醒、端侧命令词识别等技术，让芯片可以听得清、听得懂、能执行。

5G催生XR丰富体验

XR业务的流量特性，如非整数周期性、抖动、高速率、严格的包时延需求等，对通信系统的节能、容量等带来了巨大挑战。受手持设备、可穿戴设备的电池容量影响，终端的能耗优化也尤其需要考虑。在保障XR服务质量的前提下，实现节能和容量等方面的优化，将推动扩展现实应用更快落地。

5G技术支持高速率、低时延和高可靠性，同时基于XR流量特性也引入节能和容量优化机制，不仅满足了XR业务的通信需求，更拓展了用户使用场景，为用户提供了更灵活的使用方式。结合AI、云计算等技术，沉浸式内容传输的效率和质量大大提升，用户不再是信息被动接受者，而可以通过实时互动“主动”选择和创造新的体验。

从2018年开始，3GPP将XR作为5G标准中的重要内容，标准涵盖了XR概念、关键技术、设备类型和性能指标等全面梳理。面向5G-A和6G，除了XR基础业务场景的满足，元宇宙其他更多场景的需求会变成重点，在感知+计算+网络融合发展大趋势下，实现最终“智能无所不及”的愿景。

今天，我们已经可以在文娱展览、工业制造、社交聊天、医疗手术等场景下感受到智能化的沉浸交互体验。从长期行业发展看，目前的XR还需克服交互流畅性、响应速度、认知沉浸、内容生产等方面的诸多挑战。但不可否认，借助技术融合性和普及广度，XR技术的探索也会伴随内容生态的扩容，渗透进更多元的场景，不断为行业拓宽新的视野和商业市场空间。

备注：“纱窗效应”是指由于显示器分辨率的原因，人眼会直接看到显示屏的像素点，就好像隔着纱窗看东西一样。