技术论文题为“优化内存映射使用深度强化学习”被谷歌DeepMind和谷歌发表。
文摘:
“资源调度和分配是一个关键组件的许多高影响系统从拥塞控制云计算。寻找更优的解决这些问题的办法通常有重大影响在节省资源和时间,减少设备损坏,甚至可能提高碳排放。在本文中,我们专注于一个特定的调度问题的实例,即内存映射的问题,发生在编译的机器学习程序:也就是说,张量映射到不同的内存层次优化执行时间。
我们介绍一个使用强化学习方法来解决内存映射的问题。RL是一个解模式适合于序列服从规划决策问题,和组合搜索空间与高维数据输入。我们制定这个问题作为一个单机游戏,我们称之为mallocGame,这样游戏的高回报的轨迹对应有效的内存映射在目标硬件。我们还引入一个强化学习代理,mallocMuZero,表明它有能力玩这个游戏发现新的和改进的内存映射解决方案,导致更快的执行时间在真正的ML毫升加速器工作负载。我们比较的性能mallocMuZero默认使用的解算器加速线性代数(XLA)编译器在现实的ML工作负载的一个基准。此外,我们表明,mallocMuZero能够改善的执行时间最近发表AlphaTensor矩阵乘法模型。”
找到这里的技术论文。2023年5月出版(预印本)。
王、Pengming Mikita Sazanovich、保持低调Ilbeyi Phitchaya Mangpo Phothilimthana, Manish Purohit,杨汉泰,颜Vũet al。”优化内存映射使用强化学习。“arXiv预印本arXiv: 2305.07440 (2023)。
留下一个回复