400G/800G超大规模数据中心集成以太网pc和PHY IP

以太网已经成为超大规模数据中心所需的服务器到服务器通信的主要网络协议，因为它允许超大规模数据中心分离网络交换机并独立安装其软件操作系统。以太网实现了具有成本效益的、密集的、开放的交换机和网络技术，通过晶体管缩放降低了每比特的成本/功率。以太网是一种计算机网络技术，定义了开放系统互连(OSI)模型的物理层和数据链路层。IEEE 802.3标准以体系结构的方式描述了这些功能，重点是系统的逻辑划分以及它们如何组合在一起。数据链路层由MAC (Media Access Control)组成，负责创建以太网数据帧，并使用底层以太网物理层将数据帧通过介质传输。

本文介绍了用于高性能计算(HPC)片上系统(soc)的以太网PHY，以及集成的MAC + PHY IP如何加速实现合规性和设计闭合。

以太网物理层，或PHY

以太网物理层(PHY)作为抽象层，负责传输和接收数据。PHY对传输的数据帧进行编码，并用特定的操作调制速度、传输媒体类型和支持的链路长度对接收的帧进行解码。

速度特定的媒体独立接口(MIIs)允许使用各种PHY设备在不同的媒体类型上进行操作，如双轴铜(BASE-C)、双绞线(BASE-T)、电背板(BASE-K)或光纤电缆(BASE-L/R)。

例如，大多数个人电脑用户都熟悉笔记本电脑/个人电脑中的“以太网电缆”。图1显示了一个简化的框图，描述了如何通过以太网电缆将数据传输到处理器和从处理器传输出去。在这个用例中，由CPU中的以太网MAC组装的以太网数据帧(数据包)通过IEEE802.3标准定义的MII/GMII穿过主板(印刷电路板)，然后到达以太网PHY，以太网PHY通过RJ 45连接器通过双绞线传输电信号。

图1:个人计算机中以太网数据包从处理器传输到以太网PHY的简化示例。

超大规模数据中心以太网PHY

图2显示了数据中心作为计算和存储系统的网络，这些系统通过光学和铜介质连接。光学为使用单模光纤(SMF)的长距离以太网链路提供了一种节能的方式，因为它使用单路径通过光纤，因此提供了最长的覆盖范围。多模光纤(MMF)提供了一种比SMF更具成本效益的替代方案，通常用于500米或更短的距离。服务器机架单元到TOR (Top of rack)交换机链路一般采用双轴铜电缆，一般称为DAC (Direct Attach copper)电缆。

图2:在数据中心的服务器到服务器通信中使用不同类型的光学器件。

图3:数据包在服务器场的机架单元中的移动。

图3显示了在数据中心中传输的数据包，这些数据包来自服务器场的一个机架单元中的处理器。处理器的数据通过PCIe接口传输到网络接口卡(NIC)。网络接口卡通过实现MAC功能来创建以太网帧。帧通过双轴铜PHY或DAC电缆传输到机架顶部(ToR)交换机。根据DAC电缆长度和ToR机架单元物理位置中的开关硅，可能会使用retimer。这些定时器实现了背靠背的背板以太网物理，以扩展电信号的覆盖范围。ToR交换机路由帧和光模块通过实现电和光PHY功能将介质从电转换为光。

集成电气以太网PHY

IEEE802.3-2018和ETC (Ethernet Technology Consortium)分别定义了400gb /s和800gb /s标准。值得注意的是，800gb /s以太网基于IEEE 802.3-2018和802.3ck的400gb /s以太网访问方法和物理层标准。

图4:400gb /s以太网PHY架构。

图4从架构抽象级别演示了400gb /s以太网PHY，显示了800gb /s或400gb /s电气以太网PHY实现:

• 物理编码子层(PCS)用于200GMII/400GMII所要求的所有服务，例如:
  • 直流平衡:PCS实现64/66位线路编码和扰频操作，以维持过渡密度和直流平衡
  • 将编码数据传输到物理介质附件(PMA)
  • 补偿200GMII/400GMII与PMA之间的任何汇率差异;这些差异是由对齐标记的插入或删除引起的，或者由于PCS通过插入或删除空闲控制字符纠正的任何速率差异引起的
  • 从66位块转换到257位块
  • 实现FEC (Forward Error Correction)功能。FEC技术通过编码纠正接收端的错误;这些是用来提高链路误码率(BER)。然而，编码增益和相关的误码率改进是以增加延迟为代价的。考虑到这一权衡，基于链路误码率，可以实现不同的fec。通常对于误码率大于10^-5小于10^- 8的链路，Reed Solomon FEC函数按标准使用。对于误码率大于10^-8小于10^-12的链路，使用基于防火码的FEC函数。最后，对于误码率小于10^-12的链路，可能不使用FEC函数
  • 根据协议定义的链路训练函数，为背板应用设置均衡器开关系数
• PMA层将pc格式的信号调整为适当数量的抽象或物理通道，从接收到的信号中恢复时钟，并为本地环回操作提供各种发送和接收测试模式
• 物理介质依赖(PMD)层接口到传输介质，将PHY连接到介质，介质可以是许多不同类型的光纤或铜线
• 自动协商层使设备能够了解对端设备的能力和状态。IEEE Std 802.3标准第73条定义了一种新的通用自动协商协议，该协议使用独立于标准速度模式的信令。自动协商允许设备发布和共享信息，包括速度、模式、故障信号和其他控制信息

集成的以太网PHY IP，包括pc、PMA、PMD和自动协商功能，可以更快地采用最新的800Gb/s和400Gb/s以太网。图5显示了800G/400G PCS的示例实现。

图5:以太网pc框图。

总结

以太网已经成为现代高性能计算数据中心中服务器到服务器通信的事实上的标准。以太网数据帧通过各种通道和媒体类型通过服务器单元传输。将MAC和PHY集成到以太网系统中可以缩短设计周转时间，并提供差异化的性能。Synopsys提供了一个完成200G/400G和800G以太网控制器和PHY IP解决方案包括PCS、PMD、PMA和自动协商功能，如图6所示。

图6:完整的200G/400G和800G以太网控制器和PHY IP解决方案

DesignWare 112G以太网PHY IP提供卓越的信号完整性和抖动性能，超过IEEE 802.3ck和OIF标准电气规范。面积高效PHY显示零误码率，信道损耗超过42dB，电源效率低于5pJ/bit。DesignWare 200G/400G和800G以太网MAC和pc支持IEEE 802.3和联盟规范，包括Reed Solomon前向纠错(FEC)和具有低抖动的时间戳，以获得最大精度。