这种新技术论文题为“伟大的力量,伟大的责任:建议减少能源培训语言模型”来自麻省理工学院和东北大学的研究人员。
文摘:
“当前的自然语言处理模型的能源需求继续快速增长,不可持续的步伐。近期作品强调这个问题的结论有迫切需要减少NLP的能源需求的方法和机器学习更广泛。在本文中,我们调查技术,可用于减少能源消耗共同NLP的应用程序。特别是,我们专注于技术测量能源使用和不同的硬件和datacenter-oriented设置,可以调整培训减少能源消耗和推理的语言模型。我们描述这些设置等指标的影响,通过实验计算性能和能量消耗在高性能计算系统以及流行的云计算平台。这些技术会导致显著减少能源消耗当训练语言模型或推理的使用。例如,电力封顶,这限制了GPU可以使用的最大力量,可以使15 \ %降低能源使用与边际增加总计算时间比起当训练的基于变压器语言模型”。
找到这里的技术论文。2022年5月出版。
相关阅读
AI功耗爆炸
指数增长是不可持续的。但它在哪里去?
11减少人工智能能量消耗的方法
推动人工智能边缘需要新的架构,工具和方法。
留下一个回复