互联性成为绩效的关键问题

随着数据量的激增，互连的设计、实现和测试变得越来越具有挑战性，而且在更密集的计算元素和内存阵列中移动数据的能力也变得更加困难。

这个概念互连这很简单，但问两个人什么构成了互联，你可能会得到非常不同的答案。互联网络无处不在。它们连接芯片上的不同内核和加速器，多芯片包中的不同组件，甚至云中不同的服务器。更令人困惑的是，其中许多以不同的速度运行，使用不同的材料——从metal0的钌和钴一直到服务器级的光纤——它们的寿命和预期可能非常不同。尽管如此，它们是半导体功能的基础，并有助于在许多计算元素之间进行计算分区。

Tirias Research的首席分析师吉姆•麦格雷戈(Jim McGregor)表示:“如今，驱动性能最高的并不是处理器。“工作负载，或特定领域的架构，以及人工智能等应用程序，真正推动了对高速互连的需求。它不再是处理器了。我们把所有东西都放进去了。”

多年来，互联在很大程度上被认为是理所当然的。性能改进通常由流程节点和时钟速度定义。但随着扩展的好处开始缩小，计算密度由于热损伤限制了提高时钟频率的能力，芯片制造商开始将处理分散到一个芯片或封装上的多个核心，然后是多个计算元素。这反过来又使互联比过去重要得多，而这一趋势正因产生和处理的数据量越来越接近源头而被放大。

“来自CPU的I/O是带有负载存储模型的PCIe，到目前为止一直工作得很好，”英特尔研究员Dabendra Das Sharma说。“今天的设备可以访问内存，而其他设备无法看到它。您拥有load-store访问权限，但它是不可访问的。今天，如果你想访问一个设备的内存，你必须以非连贯的读取方式进行，而且每次访问都是一次使用。我们决定需要在现有PCIe规范的基础上做一些简单的工程，这样设备上的内存就可以映射到现有的内存空间并缓存到系统中。一旦我们完成了这种映射，许多限制就消失了，我们就可以实现异构计算。”

在互联空间中，变化无处不在，而如今几乎所有事物的智能量的增加正在加速这些变化。

“在人工智能方面，架构是由互连能力决定的，”at的营销副总裁库尔特·舒勒(Kurt Shuler)说Arteris IP。“这不仅仅是个体处理元素的问题。它是你如何在处理元素和一大堆本地存储器之间获取数据。在许多人工智能芯片中，为了功耗、延迟和带宽，他们希望尽可能多地限制到DRAM，这意味着你必须在芯片内部进行处理。你可以把互连看作是你在这些巨大的人工智能芯片中能够做什么的旋钮和刻度盘。”

所有这些都需要优化，无论通过芯片的流量是什么，这可能与不同的设计有很大的不同。

舒勒说:“想象一下，湾区的每个人都开车上班。“所以每个人都在单车道上开车上班，然后在另一条车道上开车回来。如果每条路只有一条车道，那就有问题了。但如果你能在多条车道上转弯，那就有帮助了。当涉及到创建NoC时，一切都需要基于用例，并且您必须了解数据流是什么以及写入芯片的配置。然后，一旦你创建了所有的道路，它们就会像它们想要的那样宽。那之后你打算做什么?这就是服务质量的特点，而且是动态的。”

在所有级别上都有许多这样的连接，它们一起对整个系统性能以及组成该系统的所有单独组件的性能有很大的影响。

公司首席执行官杰夫•塔特(Geoff Tate)表示:“公司上下都有联系Flex Logix。“大多数互连要么是片上网络，要么是传统互连。对于基于arm的soc，你有一个AXI总线和许多东西挂在上面。我们看到的另一件事是网状互连。它可能是一个AXI，但不是一个大总线，而是一个计算单元网格。它们让AXI在计算单元的行中运行，在计算单元之间的列中也让AXI在计算单元之间的行中运行这样计算单元之间就可以更灵活地相互通信。但在所有这些情况下，以最初没有预期的方式重新配置计算硬件的能力是非常有限的。因此，如果算法与优化时的算法有显著不同，那么这些算法的效率可能会低得多。”

这会影响处理元素，如加速器，以及互连。公司已经针对这个问题开发了许多解决方案。一个是在互连中添加可编程性，这就是Flex Logix所做的。另一个是微调互连，这是Arteris IP所做的。还有一些构建配置可以根据不断变化的交通模式适应某种程度的变化。

建设桥梁
在封装的芯片之间，无论是从较低级别的互连还是彼此之间的互连来看，互连的外观和行为都非常不同。一个硅插入器例如，它被用作存储器和逻辑之间的连接，以及难以直接与硅结合的光子学激光器的波导。

英特尔的嵌入式多模互连桥是另一种方法，该公司已将其作为硅中间体的低成本替代品。网桥较小，包含多个路由层。这项技术是可扩展的——可以在基板中嵌入多个桥——基本上适用于英特尔开发的任何芯片或芯片。

公司产品营销经理丽塔•霍纳表示:“事情变得越来越快。Synopsys对此。“我们看到了很多信号的并行化和更胖的管道。随着连接数量的增加，复杂性也在增加，一切都变得越来越快。如果可以获得更大的管道，那么管理和监视的开销就会更少，但是还需要更快的数据速率PHY，特别是对于低延迟应用程序。这就是为什么我们看到，在一个包中有多个模具，需要创建一个更大的管道来处理数据密度的增加。”

这就解释了为什么所有的铸造厂和OSATs要么已经开发了，要么正在开发像英特尔这样的桥梁技术。这种方法提供了更大的灵活性，缩短了上市时间，但它也只是正在开发的许多解决方案之一，这些解决方案利用了更高效、更灵活的互连

“我们的一个客户告诉我们，他们正在使用一个专有解决方案，他们有一个中间人，把所有东西放在一起，然后运送最终测试和包装的部件，但这非常昂贵，”公司业务发展副总裁Walter Ng说联华电子。“这是第一个问题。然而，更大的问题是，没有足够的工程控制来优化所有不同的部分。基本上，他们只能接受别人给他们的东西。在后来的项目中，他们与我们以及我们的OSAT合作伙伴合作，开发了一种性价比更高、性能更好的解决方案。”

所有这些方法的关键是创建专用的、宽的和高速的信号路径。

“我们需要更多的晶体管、更多的内存，以及晶体管和内存之间更多的连接，”台积电首席科学家黄志强(Philip Wong)在设计自动化大会(Design Automation Conference)的主题演讲中表示。“带宽就是数据速率乘以总线频率乘以I/ o数。总线频率可以提高带宽，但代价是更大的功率。”

他指出，内存带宽每两年增长约1.5倍。相比之下，逻辑吞吐量在同一时期增长了约1.8倍。这就产生了一个问题，它需要创新来恢复逻辑和内存之间的平衡，以多层逻辑和内存以及超密、细颗粒通孔的形式。

图1:台积电的叠模方法。来源:台积电/ DAC

实际上，跨多个维度的布局加上高速互连可以用来平衡这些不一致。因此，与其在工艺中建立裕度，不如将裕度向左转移到多模具系统的多维布局中，以实现必要的平衡。这是互连的一个微妙而创新的用途，当然值得关注。

连接模
另一个推动创新的领域涉及到同一个包装中的多个模具。Marvell、Intel和AMD已经这样做了一段时间，所有主要的晶圆代工厂和osat都在朝着同一个方向努力，使用来自多个供应商的芯片方法。要成功做到这一点，需要一致的接口和高速互连，但也需要基础设施能够实现所有这些工作。

在这方面最大的挑战之一是设计分区，这为已经复杂的设计增加了另一个变量，因为不是所有的事情都是在相同的工艺技术或与其他芯片相同的功率和性能水平上完成的。

“这仍然是3D-IC的早期阶段，这是一个系统中所有芯片的巨大合并，”华为公司的产品总监马修·霍根(Matthew Hogan)说Mentor是西门子旗下的企业。“其中一个挑战是如何验证接口。我们需要更多的管理技巧来做到这一点。最重要的是，你不知道包装中还会有其他芯片或小芯片。作为一个行业，我们需要了解电气和物理要求。”

这也增加了测试的难度，因为到目前为止有很多选择，但一致性很小。“通常情况下，你是在测试逻辑和内存之间的互连，”Vivek Chikermane说节奏。“到目前为止，我们所看到的是逻辑之上的记忆，所以你可以做一个记忆测试，测试逻辑和记忆之间的互连。但我们也期待逻辑上的逻辑。有了2.5D和扇出，你仍然可以进行探测。但对于3D堆栈，这是不可能的，所以你需要在测试总线访问中构建。”

虽然有很好的工具可以自动设计和测试平面模具，但将它们用于多模具高级封装是一种延伸。此外，一个包中的不同模具可能会不一致地老化，因此必须在这些包中利用某种类型的内部监控来评估单个部件在预期寿命内的健康状况。对于这些类型的监控器来说，互连是一个合理的位置，因为它们可以捕捉电气、热甚至机械活动的微小变化。

“这些都是复杂的系统，你要寻找瓶颈在哪里，”斯坦福大学的杰出发明家史蒂文·吴(Steven Woo)说Rambus。“在人工智能设备上可以安装多少个晶体管，这是一个挑战。这可能是有限的。”

了解这些限制，并找出如何优化这些设备是至关重要的。互连在这一切中扮演着重要的角色，互连的选择可能对功率、性能、面积和成本有很大的影响。

结论
它还不止于此。互连的范围从芯片上，到封装中的模对模，板上芯片，板到板，服务器系统到服务器系统，甚至更广。

Tirias Research的麦格雷戈说:“我们正在经历架构上的重大转变，转向加速器和内存。”“它最终会取代两者。这在很大程度上与该领域的创新水平和系统架构的变化有关。随着架构的变化，就会引入新的接口。”

-Andy Patrizio对本文也有贡献。

相关的
互联知识中心
头条新闻，特别报道，技术谈话视频，博客和互连白皮书
互联挑战增长，工具滞后
更多的数据，更小的设备正在触及当前技术的极限。修复可能会很昂贵。
哪种芯片互连协议更好?
表1专家:CXL和CCIX是不同的，但并不总是清楚哪个是最好的选择。