普林斯顿大学的研究人员发表了一篇题为“芯片时代的大规模数据中心并行”的技术论文。
文摘:
传统上，大规模并行应用程序是在分布式系统上执行的，其中计算节点距离足够远，因此并行化方案必须最小化通信和同步以实现可伸缩性。将通信密集型工作负载映射到分布式系统需要复杂的问题分区和数据集预处理。随着当前人工智能驱动的趋势，每个芯片上有数千个相互连接的处理器，有机会重新思考这些通信瓶颈工作负载。这种瓶颈通常来自数据结构遍历，这会导致不规则的内存访问和较差的缓存局部性。
最近的工作引入了基于任务的并行化方案来加速图遍历和其他稀疏工作负载。数据结构遍历被分成任务，并跨处理单元(pu)进行流水线化。Dalorex展示了最高的可扩展性(单个芯片上多达数千个PU)，通过将整个数据集放在芯片上，分散在各个PU上，并在数据位于本地的PU上执行任务。然而，它也提出了一个问题，即当所有内存都在芯片上时，如何扩展到更大的数据集，以及成本是多少。
为了应对这些挑战，我们提出了一种由以数据为中心的可重构阵列(DCRA)小芯片网格组成的可扩展架构。封装时间重新配置可以创建针对不同目标指标(如解决方案的时间、能源或成本)进行优化的芯片产品，而软件重新配置可以避免在多个芯片封装中扩展到数百万个pu时网络饱和。我们评估了六个应用程序和四个数据集，以及几种配置和内存技术，以提供大规模数据本地执行的性能、功耗和成本的详细分析。我们使用RMAT-26在100万个处理器上进行广度优先搜索的并行化达到了3323 GTEPS。”
找到技术纸在这里。2023年4月出版(预印本)。
Orenes-Vera, Marcelo, Esin Tureci, David Wentzlaf和Margaret Martonosi。“芯片时代的大规模数据中心并行”。arXiv预印arXiv:2304.09389(2023)。
相关的
在小子代周围形成的小型联合体
商业芯片市场仍在遥远的地平线上，但公司正在以更多有限的合作伙伴关系开始起步。
中国安全风险被低估
商用小芯片的安全挑战之大令人生畏。
迈向混合晶圆代工芯片的竞赛
组装来自不同代工厂的芯片的挑战才刚刚开始显现。
小芯片的设计考虑和最新进展(加州大学伯克利分校/北京大学)
留言回复