技术论文题为“Chiplet云:构建人工智能为大型生成语言模型服务的超级计算机”发表在华盛顿大学和悉尼大学的研究人员。
“大语言模型(llm)等ChatGPT展示了前所未有的能力在多个人工任务。然而,硬件效率低下已成为限制llm民主化的一个重要因素。我们建议Chiplet云,一个ASIC的超级计算机架构,优化总体拥有成本(TCO) /令牌生成llm服务。Chiplet云适合所有模型参数在片上存储器消除带宽限制而缓和模具大小提高系统成本,利用软件映射来克服数据通信开销。我们提出一个全面的设计方法,准确地探索一系列的硬件软件的主要设计权衡在关节空间和生成一个详细的性能分析在所有有效的设计要点。我们在四个流行llm评估Chiplet云。GPU和TPU相比,我们的体系结构可以实现94和15 x改善TCO /令牌分别显著减少现代llm实际服务的成本。”
找到这里的技术论文。发表:2023年7月(预印本)
彭,Huwan,斯科特•戴维森理查德·施Shuaiwen莱昂的歌,和迈克尔·泰勒。“Chiplet云:AI超级计算机为大型生成语言模型服务。“arXiv预印本arXiv: 2307.02666 (2023)。
留下一个回复