以太网从支持家庭网络到支持超大规模和云数据中心的演进。
以太网无处不在——它是定义互联网的核心技术，并以人们甚至上一代人都无法想象的方式连接世界。高性能计算集群致力于解决人类面临的最具挑战性的问题，而云计算是承载许多与这些问题作斗争的应用程序工作负载的服务。虽然数据中心内的替代网络基础设施通常有助于低延迟、高速通信，但它们通常仅限于单个设施。此外，构建多个结构和占据多个位置的云提供商通常成本高昂，需要在多个位置之间移动数据，甚至执行进程间通信。对于这些需求，支持高达800 GbE甚至更高的以太网soc发挥着关键作用，能够以最小延迟聚合、路由和交付这些流量的公司将蓬勃发展，这为利用大规模向外扩展和长途高速通信提供了一种方式，这对多站点高性能计算、机器学习和数据分析至关重要。
本文解释了以太网标准多年来的演变，从支持家庭网络到现在支持超大规模和云数据中心网络。论文还强调了SoC设计人员对100G至800G SoC要求的IP之外更全面的以太网解决方案的需求。
以太网最初于1972年在施乐的帕洛阿尔托研究中心成为现实，当时鲍勃·梅特卡夫和戴夫·博格斯接受挑战，要与数百个工作站共享世界上第一台激光打印机。受到夏威夷群岛(ALOHANet)之间通信的分组无线网络(ALOHANet)的启发，碰撞检测载波侦听多路访问协议(CSMA/CD)的概念被开发出来，以定义以太网协议的媒体访问控制(MAC)层。在MAC层以下，使用无源同轴电缆传播电磁波(数据包)，实现了出色的3 Mbit/s以太网网络。在1979年以太网协议商业化之前，这一直是内部的。经过四年的工作，IEEE批准了第一个10Base5(又名“厚网”)速率为10mbps的CSMA/CD以太网通信标准。这种布线方法具有挑战性，需要在电缆护套和外部编织中钻一个孔，直到中心芯，并安装一个“吸血龙头”来连接每台机器。在接下来的三十年中，以太网物理层的发展稳步提高了可用性和速度，直到有了满足不同市场细分和应用程序的标准的爆炸式增长。图1说明了多年来以太网PHY标准的演变。
图1:IEEE 802.3物理接口标准。
IEEE现在在以太网设备的标准化和互操作性方面扮演着关键的角色——有线网络的802.2.3和无线以太网传输的802.11。这些标准包括从最初用于10mbit /s以太网的10Base5粗以太网电缆到用于800G以太网的800GBASE-R规范。此外，用于时间敏感网络的802.1Q标准对以太网的工业控制和车辆应用至关重要。在实际意义上，物理层(PHY)，包括物理介质依赖(PMD)，物理介质连接(PMA)和物理编码(pc)子层和以太网协议的数据链路层(MAC)的集成对工程师来说是一个具有挑战性的问题，但IP设计人员以聪明和可靠的方式解决了这些问题，提供了满足上层协议软件开发人员需求的硅架构。功率和距离仍然是100G以上高速以太网的最大挑战。虽然短途连接解决方案通常可以依赖于零或微不足道的误码率，但随着距离的增加，任何信号传输固有的环境噪声、信号退化和传播延迟也会增加。NRZ或简单的每脉冲1比特信号不再提供足够的带宽或无差错连接，即使是在速度超过200 Gbps的短距离内。图2显示了两种信号模型之间的差异，其中与NRZ的两个电压水平相比，PAM-4有四个电压水平，导致12个不同的信号转变，(6个上升和6个下降时间)产生三个区域眼开口。
图2:NRZ和PAM-4信号。(图片由:S-parameters: Signal Integrity Analysis in Blink of an Eye | 2017-05-14 |信号完整性期刊）
PAM-4提供了一种为每个符号发送2位信号的方法(00、01、10和11)，正交振幅调制(QAM)格式可以将这个密度从每个符号8位扩展到256位。由于介质的功率要求，铜电缆的覆盖范围有限，但光纤提供了一种结合不同波长来扩展通信宽度的方法。波分复用(WDM)技术包括粗(CWDM)最远70公里和密集(DWDM)变体，后者可以使用有源中继器技术在80公里(华盛顿特区到纽约市的距离约一半)以外提供400 Gbps以太网，并通过放大可以达到数千公里的距离，实现100 Gbps传输。
现代以太网由许多不同的元素组成。它所承载的媒体可以从无线无线电、蜂窝或Wi-Fi，到同轴或扭曲铜线，再到光纤传输上的许多波长和强度变化。集线器、交换机、路由器、网关、网桥、媒体转换器、光放大器、应答器和复用器创建了以太网可以通过的路径。下面的图3显示了可以承载有线以太网的IEEE 802.3标准。
图3:按距离划分的以太网物理。(图片由:IEEE 802.3工作组|以太网标准的发展）
高性能计算(HPC)自设计第一个大型单片大型机以来经历了许多转变，首先是网络连接的个人级计算机集合，发展到使用加速器和专用内存、存储和网络组件增强的专用计算机集合，最近则是由各种提供商托管的容量几乎无限的云中虚拟化的按需高性能计算。工作负载必须随着这些架构变化而变化，利用运行它们的基础设施的独特性能特征。应用程序和通信框架的开发是为了进一步优化和简化不断变化的高性能计算应用程序、机器学习算法和大数据分析世界，这些已经成为我们生活的中心。所有这些都支持科学技术的进步，构成了所有互联网服务的基础，不断与政府、工业、商业和教育相融合，并成为其核心。
在数据中心内，HPC的规模(尤其是虚拟化云托管基础设施上的HPC工作流的聚合)需要大规模的向外扩展架构。根据2021年6月的绿色500强名单HPC计算效率接近30 Gflops/watt，一个标准的42英寸机架可以在一个封闭的吊舱中冷却近40 kW，在该机架中提供高达1.2 Pflops !合理估计数据中心的电力利用率，运行服务器和冷却服务器各占40%，存储服务器和网络服务器各占20%，这对数据中心的增长和容量施加了实际限制。19英寸42U机架内需要连接的以太网端口的数量和容量不同，电源场景也不同。机架顶部(ToR)聚合可能需要支持数百个以太网连接，用于主要通信和带外管理目的。
在数据中心内，HPC依赖于集群中的计算机(节点)之间的低延迟、快速通信。分布式应用程序的进程间通信使用MPI、SHMEM和upc++等通信框架。这些流量模式往往是突发的，使用相对较小的信息包。根据算法的缩放属性，这些流量模式可以扩展到集群中的数百甚至数千个节点。共同驻留在同一通信结构上的存储流量通常占用更大的带宽，且数据包大小更大，通常利用替代巨型帧格式将有效负载大小从标准的每个数据包1500字节扩展到9000字节。机器学习框架还可以从大型数据包通信中受益，同时在咀嚼海量数据集时训练新模型。大数据分析工作负载在本质上是相似的，通常利用训练有素的人工智能框架来识别大型数据集或流互联网数据源中的趋势和特征。
互联网本身在OSI模型的第3层(又名IPv4或IPv6)上进行数据通信。以太网流量的VLAN隔离是一种第2层协议，它允许管理、数据、存储和进程间通信以相对安全和排他性的方式遍历公共以太网基础设施，即使流量共同驻留在活动数据流中。vxlan将这种能力移到第三层，并允许vlan在多个数据中心共存。除了数据中心之外，图形可视化/交互、文件传输和命令/控制I/O扩展到世界各地的最终用户机器和终端。如果以太网基础设施的底层第1层和第2层的PHY层、pc层和MAC层不能满足每个上层施加的速度和延迟要求，那么这些技术都不能工作。这是片上系统(SoC)设计人员的重点领域，能够创建防火墙、路由器、网关、网卡和电缆，在全球范围内提供高速以太网。
互联网正在以我们从未预料到的方式发展，并将继续超出我们的想象。通讯、娱乐、教育、就业、工业和金融都依赖于互联网。提供服务已成为许多人社交和人际生活中不可或缺的一部分。这也需要高性能计算，支持公众的交易和流需求的规模。回顾过去10年，对未来带宽需求的估计一直很低，通常只有当今现实的一半甚至三分之一!没有人预料到一场全球性的流行病会以如此根本的方式影响劳动力，在家办公会对分布式和核心互联网基础设施提出如此高的要求。无论如何，全球对带宽的需求正以前所未有的速度增长，这些流量的聚集正推动城际网络和商业互联网提供商加强基础设施建设。对5g蜂窝网络的预期是推动核心基础设施达到新高度的另一个因素。
由于所有这些原因，以太网正在成为数据中心高性能计算的事实上的网络标准选择。业界正在与IEEE等组织合作，定义以太网的新标准，以满足全球对带宽的需求。虽然访问支持10G到800G以太网的各种配置的IP很重要，但SoC设计人员正在寻找提供更多差异化的解决方案:
Synopsys利用其在开发高质量IP解决方案方面的经验，帮助设计师应对复杂而具体的设计挑战。我们与代工厂和其他生态系统合作伙伴的合作伙伴关系使我们能够确保我们的IP在最苛刻的工艺技术中具有互操作性和可用性。我们的工程专家团队与设计师密切合作，解决他们的大多数技术问题，最大限度地降低集成风险。
|
|
|
|
|
|
|
|
|
|
留下回复