新技术论文题为“TPU v4:机器学习的光可重构计算机与硬件支持嵌入的“被谷歌研究人员发表。
文摘:
“为了应对创新机器学习(ML)模型,并迅速生产工作负载发生了根本的变化。TPU v4是第五个谷歌领域特定架构(DSA)和第三的超级计算机等毫升模型。光学电路开关(ocs)动态重新配置其互连拓扑结构来提高规模、可用性、利用率、模块化、部署、安全、力量,和性能;用户可以选择一个扭曲的3 d环拓扑如果需要。更便宜的、低功率和速度比Infiniband,口服避孕药和底层光学组件是< 5%的系统成本和< 3%的力量。每个TPU v4包括SparseCores,数据流处理器加速模型依赖于5 x-7x未使用嵌入的只有5%的死区和权力。部署自2020年以来,TPU v4优于TPU v3 2.1 x并提高了性能/瓦特2.7 x。TPU v4的超级计算机大4 x 4096芯片,因此整体快~ 10倍,这与OCS灵活性有助于大型语言模型。对于类似大小的系统,它是~ 4.3倍- 4.5倍速度比Graphcore IPU弓和1.2倍- 1.7倍速度,少使用1.3倍- 1.9倍比Nvidia A100权力。TPU v4 energy-optimized仓库内规模计算机谷歌云使用~ 3 x更少的能源和生产~ 20 x当量二氧化碳比当代地区体育会在典型的内部数据中心。”
发现技术纸在这里。2023年4月发表(预印本)。谷歌的论文的总结在这里找到。
Jouppi,诺曼·P。乔治·库里盛李彼得•马拉胡尔纳和奈,作者Nishant帕蒂尔et al。”TPU v4:光可重构计算机与硬件支持嵌入的机器学习。“arXiv预印本arXiv: 2304.01433 (2023)。发表在2023年ISCA(计算机体系结构)国际研讨会。
留下一个回复