芯片在元宇宙中的挑战

元世界正在推动芯片设计的极限，尽管不确定这些设备最终需要多少原始马力才能提供沉浸式的增强、虚拟和混合现实的混合。

开发这些系统的最大挑战是能够实时处理混合数据类型，同时数据以闪电般的速度不间断地移动。这需要系统的集成，以及系统的系统。无缝操作将需要在芯片级别及其他方面取得进步:

• 处理器必须有足够的功率来避免信号的跳变。与此同时，该系统必须以一种不会太快耗尽电池的方式进行设计。实现这种平衡需要混合处理元素，其中许多元素需要为特定任务和数据类型进行定制设计，并具有优先级数据路径，以便将数据快速移动到所需的任何地方。
• 耳机必须足够凉爽，才能长时间戴在脸上。如果屏幕长时间处于活动状态，智能手机可能会变得太热，拿起来不舒服。戴在脸旁边的设备所需的热量甚至比手机还要低，尽管计算量可能要高得多。
• 来回移动图像和视频数据需要大量带宽。这通常可以通过家庭或办公室等固定环境中的高速无线连接来实现。但在移动应用中，这些设备可能会搜索信号，因为传输这些信号所需的更高频率容易受到天气和其他移动物体等各种因素的干扰。
• 架构将需要足够灵活，以纳入通信协议和其他仍在发展的标准的变化，这将需要某种程度的可编程性。如果做得不好，这可能会影响性能。在软件上做这些改变可能会大大降低系统的速度，需要更多的处理，这反过来又会产生更多的热量。

Tensilica Vision和AI dsp的产品管理、营销和业务开发总监Amol Borkar表示，要满足所有这些要求，就必须“在硬件和效率方面进行进化”节奏．“这个领域仍处于萌芽阶段。如今，电池驱动的耳机大多是原型。这款设备可能具有与现代智能手机相同的计算能力，但考虑到与用户面部的距离，功耗需要低得多。我认为在排放方面也是如此。”

事实上，在某些情况下，它可能被绑定到智能手机上。“有很多问题，关于你想在眼镜这样的设备上做多少，与你想在一些连接元素上做多少，”杰出的发明家和研究员史蒂夫·吴(Steve Woo)说Rambus．“一种可能性是，你的手机可以成为一个中心，其中一些处理可以被卸载。这是一个比眼镜更好的环境。但它仍然是一个电池供电的设备，如果你碰巧旁边有什么东西插在墙上，也许你也可以在那里卸载一些处理。但响应时间将非常重要，你必须在尽可能靠近设备的地方完成所有工作。”

其他人也提到了类似的限制。“我们认为元世界是任何增强手机性能的东西，”巴勃罗·弗莱(Pablo Fraile)说手臂．“这项技术有许多可穿戴的方向。AR和VR是这一领域的两个极端，而每个极端的限制条件是非常不同的。我们还认为，元宇宙将部署在不同的环境中——家庭、办公室、室外或车内——因此，连接将是绝对必要的。这种连接不仅存在于用户和网络之间，还存在于人们随身携带的不同设备之间，因为你可能同时拥有不同的可穿戴设备。”

眼界大，筹码多
普遍的看法是，元宇宙将主要用于游戏或社交媒体的动画3D版本。但它在工业和企业应用中可能有更广泛的用途，而且每种应用都有非常不同的技术要求和芯片架构。

戴夫·凯勒，公司总裁兼首席执行官台积电他在最近的一次演讲中提到了元宇宙，并指出AR已经被其客户广泛使用，并在内部用于培训。他说:“在封锁期间，我们使用HoloLens与我们在美国和欧洲的设备供应商进行远程合作。”他补充说，元宇宙将进一步推进这一进程。“去年，元宇宙让所有人都在讨论将真实和虚拟融合到数字时代。这将需要5G导电性、云和边缘计算。”

这也需要巨大的能量。“你将需要大约1000倍以上的计算能力才能生活在元宇宙中，”ibm总裁亚当·怀特(Adam White)说英飞凌该公司的电力和传感器系统部。他说，对于AR/VR来说，最大的问题是如何产生足够的能量来让它工作。

“我们的服务器还不能处理元宇宙，”英飞凌美洲销售、营销和分销高级副总裁Shawn Slusser说。“然后，整个传感器、物联网之类的环境必须融入元宇宙。这就像一个生态系统，而这个生态系统还没有建立起来。这需要一些时间。”

《手臂的脆弱》对此表示赞同。“我们必须经历一个学习阶段，无论是如何使用这些东西，还是如何建造它们，”他说。“这并不是说挑战比我们以前见过的任何挑战都要大得多。但这是一项非常困难的技术。让这些东西同步并看起来真实将是一项艰巨的工作。这不仅仅是连接的问题。它还涉及数据管理和数据压缩。在某种程度上，所有这些技术仍需要出现，在这些领域有大量的研究。”

所有这些都包括大量的半导体，其中许多将是高度定制的。

Rambus的Woo表示:“一旦这开始形成一个相当大的市场，你就会开始看到越来越多专注的创新。”“你可以从智能手表上看到这一点，它现在是自己的类别，需要自己独特的发展。当你找到合适的应用程序，越来越多的人开始采用AR和VR并解决问题时，你会看到同样的情况。内存将是这种实现的一大挑战。”

集成这些设备以使它们能够顺利地交换信息是另一个挑战。虽然最初这将建立在现有的通信基础设施和方法之上，但随着在有线和无线基础设施之间移动的数据量激增，它将以新的方式对这些系统造成压力。

AR/VR开发人员从28nm节点开始就一直在等待处理器在足够低的功耗下提供足够的性能，使这成为可能。他们没有预料到的是，计算架构将在这段时间内发生如此巨大的变化。因此，这个市场上最大的参与者不再只是等待5nm或3nm处理器，而是正在设计自己的芯片来优先考虑数据流，使用融合了某种形式的AI、更快的I/O以及一些高级节点计算元素的异构架构。

考虑到元宇宙设备的处理和分辨率要求，这是必不可少的。“我们说的是两种4K x 4K的显示驱动程序，”泰达电子产品营销高级总监Hezi Saar说Synopsys对此．“它们应该有较高的比特率，RGB 30位，频率最低为90hz。所以你看到的是每只眼睛每秒40或50千兆比特。这提供了非常高的分辨率，不会产生任何晕动病或类似的东西。你需要摄像头来帮你观察环境，还需要连接到XR处理器，还需要连接到显示驱动程序。”

Saar指出，这一领域的许多创新可能来自于可以集成多种功能的XR加速器。“连接外部世界或摄像头的XR加速器可以对摄像头进行插值，从XR处理器中获取电影或游戏等信息，并将其覆盖。这是一个重型xr加速SoC，我们确实看到了这样的设计。它们需要USB、MIPI接收器、相机发射器和多个显示端口的极低功耗功能。低功率很重要。高温是个问题。权力一直是个问题。但我们确实看到市场在向前发展。”

其中许多芯片将针对特定的环境或用例进行定制，大多数在这一领域争夺领先地位的公司都在为繁重的工作设计自己的芯片。以Meta为例，该公司选择了3D-IC，因为它说增强现实的计算强度不会像虚拟现实那样高，在虚拟现实中整个背景必须不断刷新。因此，减缓3D-IC全面采用的热问题将不会是主要因素，信号需要传播的距离将更短，电阻和电容更小。

机遇充满了未知
与大多数新的市场机会一样，元宇宙是一个带有非进化含义的进化概念。它缺乏定义，大致相当于边缘计算的概念，大多数芯片制造商认为这是一个广泛的机会，但它花了近十年的时间才得以展现。边缘仍在建设中，目前尚不清楚谁将是这一领域的大赢家。

但边缘也将在元宇宙中扮演一个不可或缺的角色，反之亦然。“今天，我们看到许多这样的设备主要由显示器、摄像头、麦克风和耳机中的其他传感器组成，但所有的计算通常都发生在一个‘皮带包’或计算包中。随着时间的推移，我们将看到这一切合并成一个独立的耳机。此外，我们预计耳机将变得更符合人体工程学、更美观、更无侵入性。”“我们已经被智能手机宠坏了，当这些AR/VR设备成为主流时，预期电池寿命需要在8到12小时的范围内，而不需要充电。如果需要经常充电或随身携带充电宝，一般人不太可能乐于使用这些设备。”

博卡说，这些设备还需要可扩展的架构以及支持多核集群和多线程的能力。他说:“当需要分配工作负载来解决算法的不同性能要求时，这很重要。”“例如，你可以有一个轻量级AI网络以高FPS实时运行，同时，另一个轻量级AI网络也以低得多的FPS实时运行，然后是第三个网络，计算量很大，但很少运行或以突发模式运行。该架构需要能够在运行时在多个集群或架构之间有效地平衡这些工作负载，为用户提供最佳的电源和性能配置。”

谈到FPS, Borkar指出，创造一款不会让人感到恶心的设备是一项复杂的工作。Borkar说:“关于刷新率有几个因素。“有显示的刷新率，头部跟踪和渲染管道，以及整体延迟。在显示端，通常建议每个显示屏至少显示1080p，刷新率为90Hz。为此，头部跟踪算法必须能够无缝、准确地跟踪用户的头部运动。今天的SLAM算法使用来自相机、IMU(惯性测量单元)和其他输入的传感器融合，可以在最低相机频率(通常为60-90 FPS)下准确跟踪6DoF定位。该算法可以进一步优化，仅依靠IMU数据就能产生1KHz的姿态估计。大多数图形管道通常以60-90Hz的频率运行。”

“因此，为了消耗这1KHz的姿态信息，实现了空间扭曲和时间扭曲的先进图像处理技术来创建中间图像(无需渲染全新图像)，从而呈现出非常快速的渲染管道。最后是延迟，通常以MPT(运动到光子)延迟来测量，或者从测量的运动到它被记录在屏幕上的时间。所有这些因素结合在一起，对于防止使用者感到恶心非常重要。”

Synopsys的萨尔预测，大多数与元verse相关的半导体将用于智能眼镜设备。他说，至少在不久的将来，这些设备可能会被用作智能手机的某种延伸。眼镜-智能手机组合的串联特性解决了元宇宙设备的一些技术挑战。萨尔说:“它会把东西投射到眼睛上，这样你就能看到你收到了一条信息，或者有人打来电话。”“该设备本身可以拍摄一些照片，但除此之外没有太多功能。大多数情况下，它是完全关机的，只有在有中断时才会打开。这意味着所有的计算能力都来自手机，而从手机到护目镜的连接主要是为了获取信息和图像。我认为这是一个轻量级的元世界。”

结论
可以肯定的是，关于元宇宙的底层硬件还有很多未知和不可预测的地方。公司解决方案和业务发展副总裁Frank Schirrmeister说Arteris IP他指出，科技界还没有就元宇宙到底是什么这一基本问题达成共识。试探性的答案引出了更多的问题。“你如何收集数据?如何保护数据?你如何确保人们不会录下他们不想录的东西?”

Schirrmeister说，无论如何，优化元世界的数据中心组件将是至关重要的，同时还要为超连接构建适当的基础设施。盈利模式看起来更像是国防合同领域的东西。他说:“它不再只是一部手机或设备，你想通过它向消费者传递内容，而是想让它成为更大的合同，或许是更大的服务的一部分。”“这可能是一个大项目，基本上你卖硬件，你卖安装，建筑，你卖软件定制，然后你甚至还卖整个过程中的数据维护。你将其作为一个大型捆绑项目出售。这是一个非常不同的世界。”

相关阅读
可穿戴式电触觉渲染系统具有高空间分辨率，快速刷新
香港城市大学(城大)和腾讯科技的机器人X实验室的研究人员发表了一篇题为“超分辨率可穿戴电触觉渲染系统”的新技术论文。
构建元宇宙，第二部分:技术
元宇宙将触及技术发展的方方面面，从个人设备到云网络。
用于扩展现实的边缘ai硬件
构建元宇宙，第一部分:异象