虚拟现实的设计和安全挑战

虚拟现实不再只是游戏玩家的专利，从医疗保健到工业培训，随着这项技术的广泛应用，通过高速连接更快地处理更多数据的需求也在不断增长。

设计这些设备仍然是一项矛盾的研究。它们必须功耗极低，电池足够小，使它们穿戴舒适。但它们还必须能够实时处理大量的流图像数据，并具有足够高的屏幕刷新率以防止晕车。此外，充电间隔时间必须足够长才能吸引消费者。此外，它们必须保持相对凉爽，因为设备是戴在脸上的，它们需要安全，包括高速I/O和先进的通信技术，而且价格仍然便宜。

“VR应用需要精密复杂的设备，”微软Tessent部门的技术支持总监罗恩·普雷斯(Ron Press)说西门子EDA．“为了支持密集的计算VR应用需求，设备需要强大的处理能力。因此，用于VR的设备通常体积较大，处理器重复。”

事实上，在7nm节点之前，VR先驱们评论说，芯片技术的进步还不足以满足所有这些目标。但是，随着芯片的不断扩展，随着它们被构建成具有定制和异构计算元素的高级包，有足够的性能和功耗改进，使这项技术对各种应用更加有用。增长数据证实了这一点。根据联合市场研究到2026年，全球AR/VR芯片市场预计将达到77.6亿美元。

其中一个重要的驱动因素将是5G连接，这将在任何地方实现更快的下载和上传速度。如今，大多数VR系统都是有线或通过Wi-Fi连接的。但随着这些设备越来越多地脱离5G网络，各种新应用将成为可能，包括汽车、建筑、制造、数字营销、娱乐、零售、旅游等。

系统公司和芯片制造商并没有错过这个机会。与VR和VR芯片相关的领先科技公司包括苹果、AMD Broadcom、惠普、华为、Meta (Facebook)、微软、NVIDIA、Imagination Technologies、英特尔、联发科、高通和三星等。

不同的现实
虚拟现实只是正在开发的几种相关技术之一。虽然VR是迄今为止最受认可的术语，但它属于扩展现实(XR)的范畴，XR还包括增强现实(AR)和AR和VR的结合，称为混合现实(MR)。

虚拟现实技术需要头戴式显示器(HMD)来体验由计算机通过视频和音频信号生成的3d世界。相比之下，增强现实技术则是将计算机生成的内容覆盖在真实物体之上，通常会带上透明眼镜。AR可用于培训技术人员对机器进行故障排除。当技术人员通过HMD观看真实机器的增强版本时，AR图像或视频可以指导技术人员逐步完成维修。

MR，顾名思义，混合了某些VR和AR元素。这种混合模型使数字世界和物理世界成为一个集成的3d环境成为可能。潜在地，随着MR的成熟，用户可以与物理世界进行数字交互。

最近出现了一个新词“元宇宙”，指的是网络空间或数字世界。它可以通过VR或AR来访问。

2022年6月，1000 +会员元宇宙标准论坛首次宣布为元宇宙开发开放标准。目前加入该组织的会员是免费的。其目标之一是鼓励空间计算领域的合作。这种在交互式3D图形、地理空间系统、物理模拟和真实感内容创作等领域的合作将为虚拟现实技术的发展提供动力。

VR系统设计
VR系统结合了3d软件和各种类型的传感器，包括用于运动、音频和视频的传感器，以及HMI/用户界面。设计考虑因素包括力反馈、导电性、低功耗、紧凑和轻便。为设计选择合适的芯片和组件是很重要的。

“关于SoC的选择，这取决于目标终端产品，”该公司产品管理、营销和业务开发总监Amol Borkar说节奏该公司的Tensilica Vision和AI dsp。“对于制造原型或小批量生产，内部构建SoC没有足够的商业理由。这条经验法则适用于制造耳机的供应商，这些耳机通常是连接到电话或电脑上的。他们可能正在构建一个一体化的耳机，其中的主要计算仍然是运行在Android或Linux操作系统变体上的应用程序处理器(AP)。在这种情况下，许多集成了gpu和矢量dsp的高性能现成的soc(或芯片)可能就足够了。供应商可以制造电路板和接口与各种传感器。一些知名供应商已经设计出了使用这种组件的产品。”

然而，对于大量投资VR的公司来说，趋势是构建自己的soc或封装系统。Borkar说:“内部构建使供应商可以自由设计与规格和kpi相匹配的硬件，从而创建一个令人信服的解决方案。”在这种情况下，可能会有定制的mcu或dsp来卸载SLAM(同时定位和映射)的各个部分，以实现高性能和低能耗。这种方法让GPU主要专注于显示和渲染，而主CPU则专注于管理任务。然后，这些公司还开发软件堆栈、sdk和框架来利用所有这些组件。这就形成了一个丰富的生态系统，使开发者能够构建高质量的应用程序，创造出色的用户体验。”

在过去几年中，数据压缩方面的重大进展使得更容易更快地移动大量数据。“使用VESA DSC和VDC-M视频压缩使AR/VR SoC设计人员能够减少视频缓冲区大小和视频接口带宽，从而显著节省电力，降低EMI和更小的占地面积-同时保持极低的延迟，”西蒙Bussières，系统架构总监Rambus．“VESA DSC和VDC-M是视觉无损压缩编解码器，这意味着当使用时，人眼检测不到可察觉的差异。这两种编解码器都经过了严格的测试，2021年，VESA进行的额外研究验证了这两种编解码器在立体3D用例(包括AR/VR应用)中的视觉无损性能。”

也许最具挑战性的部分是用户界面和导航。用户需要移动自由、易于控制和系统响应性。此外，HMD必须穿戴舒适，不会对人体造成压力，而且它必须有足够的性能来防止用户感到恶心。设备输入可能具有挑战性，因为它涉及多种格式，如语音、手势、点击和触觉。幸运的是，对于工业和商业应用来说，晕车问题是最小的，因为用户移动的次数比玩游戏时少。

图1:制作VR HMD需要很多组件。来源:Nexperia(简化框图)。

多年来，VR开发人员一直使用离散组件，如mcu、各种传感器、不同的无线连接芯片和dsp来完成工作。最近，在更少的芯片中集成了多种功能。例如，高通开发了骁龙XR2 5G平台，支持5G、8K 360°视频、7个并发摄像头和AI，所有这些都在一个芯片中。

安全问题
安全性是另一个需要考虑的问题。无论VR设备如何连接，这种连接都会使其容易受到攻击。黑客可能会使用HMD或VR设备作为家庭网络和企业系统/网络的网关。一旦连接建立起来，黑客就可以窃取私人数据和信息。安全专家警告说，不要让黑客开车经过小区，入侵Wi-Fi路由器。但使用5G，黑客可以随时随地发起攻击，这增加了系统的脆弱性。

“虚拟现实技术提供了可视化数据的新方法，在许多情况下，比传统显示器更便携，提供了更多的连接选项，”微软公司的科学家兼首席安全技术专家Mike Borza说Synopsys对此．“对于许多消费者来说，安全问题主要涉及隐私。在企业上下文中使用时，可能存在许多安全问题，例如保护专有知识产权和数据(例如制造产品的设计模型)。当以交互方式作为人机界面的一部分使用时，需要考虑保护数据的完整性和可用性，同时保持较低的总体延迟以进行精确控制(例如，操作员远程控制机器)。在许多其他在保密领域出现的应用中，存在涉及隐私和治理要求的问题(例如，医疗保健)。”

安全专家警告网络安全的重要性。“像任何其他连接系统一样，虚拟现实系统可能成为网络威胁的目标，”微软公司杰出工程师史蒂夫·汉纳(Steve Hanna)说英飞凌科技．“保护分为两类——协议安全和产品安全。协议安全性在数据传输过程中保护数据。例如，从VR头盔发送和发送的数据应该加密和认证，以保护机密性和确保数据的真实性。产品安全保护系统免受黑客攻击。例如，安全引导验证只有授权的固件才能在VR耳机上运行。如果没有产品安全保护，耳机可能会感染笔记本电脑，反之亦然。”

随着这些设备变得更加移动化，这种连接变得更容易受到攻击。Borza说:“如今的连接方式是有线(主要是高带宽USB Type C)或Wi-Fi。”“未来的蓝牙版本将拥有支持这些设备的带宽。根据连接模型，当VR设备和数据源之间存在一对一的对应时，链路层安全性就足够了。但在许多情况下，端到端安全模型更有意义，特别是当VR被用于查看远程实体并与之交互时。因此，我们可以期待看到对高带宽IPsec和TLS安全通信的需求。”

其他人也指出了类似的需求。Rambus产品管理高级总监Gijs Willemse表示:“为了保护具有5G功能的VR，部署端到端安全非常重要。”“5G安全超越了中间人和侧通道攻击。您现在还在处理通过网络对您的(云)服务的潜在攻击。除了使用安全软件/芯片进行设计外，VR实现还需要考虑对个人和私人数据的访问，以及高级固件更新、设备和用户认证，以及潜在的实时支付。”

设计权衡
由于VR部署在不同的市场和用例中，很明显，一种尺寸不可能适合所有人。对于高速游戏来说，这个市场的竞争都是关于处理速度和延迟。相比之下，对于外科训练应用程序，清晰度和准确性是优先考虑的。一个带有力反馈的8K显示器能给外科医生一种在活人身上做真实手术的感觉，这是最有帮助的。

一旦设定了VR设计目标，下一步就是建立最合适的测试方法、模型或仿真，以确保所有参数满足目标。

Cadence的Borkar说:“一个常见的指标是运动到光子(MTP)的延迟。MTP测量的是从动作发生到呈现并显示在耳机屏幕上的时间或延迟。这个指标有许多变体，但总体思路是相同的，目标范围是15到20毫秒或更短，以获得良好的VR体验。这是一个重要的指标，因为VR体验是一个复杂的“堆栈”，从摄像头/IMU传感器到系统总线，然后是SLAM处理、渲染、显示等等。该过程的每个阶段都有延迟。但是，为了帮助达到性能目标，可以在各个阶段使用一些聪明的技巧。例如，SLAM可能只对某些帧使用IMU数据来提高刷新率，因为相机通常是30到60帧/秒。gpu可以使用时间扭曲和空间扭曲来渲染中间帧，防止管道阻塞。”

在测试方面，正在引入针对VR技术的工具。Siemens Press表示:“最近，封装扫描模式交付已经被广泛采用，例如，用于VR等先进设备的Siemens Tessent TestKompress流扫描网络(SSN)技术。”“它不是单独测试重复的核心，也不是试图将广播时间分配到所有核心，而是通过每个核心内部的片上比较器将相同的数据包按时间倾斜地传递给它们。因此，可以测试任意数量的相同内核，而无需延长测试时间或花费更多的测试开发时间。分组扫描模式交付的另一个独特之处在于，随着测试需求的变化，可以动态优化选择并行测试的核心。这提供了很大的灵活性。随着这些VR设计的发展，可以完成内核的测试模式和解决方案，然后再选择并行测试的内核。一旦选定了核心，就会对分组数据进行处理，以优化的方式向选定的核心提供模式，这比传统方法效率高得多。”

结论
虚拟现实的挑战包括许多设计参数的集成和保护网络安全威胁。虽然它们可能因应用而异，但参数通常包括软件/硬件优化、VR芯片或SoC的选择、电源管理、HMI、封装、性能和测试/模拟。清楚地定义设计目标是很重要的。此外，为了最大限度地降低网络威胁的风险，VR系统必须结合最新的安全技术和知识。

虚拟现实及相关技术将不断完善。新的应用将会出现。在最近的一项实验中，“全息场景”允许医科学生戴上微软HoloLens混合现实耳机，与一个多层的、医学上准确的全息病人互动。英国剑桥大学医院NHS基金会(CUH)与剑桥大学(Cambridge, UK)和洛杉矶的科技公司GigXR合作开发了该项目，为医学生增加了学习机会。

随着人们学习如何应用这项技术，未来十年将会有更多这样的应用。在漫长的等待和无数的承诺之后，虚拟世界开始成形。

资源:

• XR协会
• 元宇宙标准论坛(metaver-standards.org)
• SLAM与DSP实现(cadence.com)