中文 英语
系统与设计
的意见

自适应时钟:注意你的p态和c态

通过允许时钟发生器在频率之间切换以响应电压变化,避免在大规模电源状态变化期间停机。

受欢迎程度

更大的处理器阵列将继续用于人工智能和云应用。例如,安培为超规模(主要是Oracle)提供了一个128核的庞然大物,而Esperanto为AI工作负载集成了近10倍的内核。然而,对于这些阵列,电源管理变得越来越重要,系统设计人员需要平衡动态电源和系统延迟。如图1所示,随着我们年复一年地前进,晶体管每工艺节点跳跃的节省正在被设计复杂性所超越。

(数据来源:TechInsights)

大多数数据中心解决方案都有一个全面的电源状态表,使用各种技术来降低有功功耗。这些技术的范围从暂停内核的执行到完全睡眠模式。在这两个极端之间,处理器将关闭时钟并刷新连续的缓存级别。

随着处理器进入更深的睡眠状态,它的退出延迟会增加(返回活动执行的时间),这也会降低总体吞吐量。计算单元必须保持其守恒状态的时间超过其退出延迟,以保持电源有效。实际停机时间会随着退出延迟的增加而变化和增加,如图2所示。

数据来源:Mete Balci

为了满足最终用户的需求,数据中心和人工智能处理器只会变得越来越复杂。现代数据中心处理标准的虚拟化任务,并看到越来越多的人工智能相关工作负载。再深入一点,AI工作负载本身正变得越来越复杂,因为模型组成正在以如此快的速度变化。如果没有可预测的大量操作,核心将不得不保持在活动执行模式或非常低延迟的守恒状态(如C1或C2),从而限制了功耗节省。相反,处理器可以以动态功耗为代价来提高频率。来自英特尔和AMD的主流服务器处理器使用boost模式来临时提高较大工作负载的吞吐量。

虽然提高频率或进入守恒状态可能看起来完全相反,但它们实际上对时钟网络有类似的影响,这是决定退出延迟的第一张多米诺骨牌。当计算核心退出省电状态或进入boost模式时,它会增加处理器上的负载。随着许多计算核心进行这些转换,应变会成比例地增加。

时钟网络对电压下降(电源波动)很敏感。传统的锁相环需要停止操作并在较低频率下锁定,然后在这些波动期间再次停止并在较高频率下重新锁定。正如您可以想象的那样,在电源状态更改期间,这会大大增加延迟。

为了消除锁定和重新锁定过程,最小化系统延迟,大型阵列处理器必须采用自适应时钟。该技术可以使时钟发生器根据电压变化在不同频率之间切换。通过频率循环,系统设计人员可以避免在大规模电源状态变化期间数十(如果不是数百)个周期的停机,这极大地提高了电源效率,并提高了每秒推理或批训练时间。

随着芯片的tdp越来越大,自适应时钟将成为一个必须具备的功能。如果没有自适应时钟,通过粗略的功率状态控制,数据中心的总拥有成本将高于预期。向这种技术的转变有可能提高芯片性能,同时适当地管理电源。



留下回复


(注:此名称将公开显示)

Baidu