哈佛大学和谷歌研究小组的研究人员发表了一篇题为“微处理器设计空间探索的多智能体强化学习”的新技术论文。
摘要
微处理器架构师越来越多地求助于特定领域的定制，以追求高性能和能源效率。随着系统复杂性的增长，跨多个子系统(例如，数据路径、不同层次结构中的内存块、互连、编译器优化等)对体系结构参数进行微调，很快就会导致设计空间的组合爆炸。这使得特定于领域的定制成为一项极具挑战性的任务。之前的工作探索了使用强化学习(RL)和其他优化方法来自动探索大的设计空间。然而，这些方法传统上依赖于单剂RL/ML配方。当我们增加设计空间的复杂性时(例如，全堆栈片上系统设计)，尚不清楚单代理公式的可扩展性如何。因此，我们提出了一种利用多代理RL (MARL)来解决这个问题的替代方案。使用MARL背后的关键思想是观察到不同子系统的参数或多或少是独立的，因此允许将分散的角色分配给每个代理。我们通过为几个工作负载轨迹设计特定领域的DRAM内存控制器来验证这一假设。我们的评估表明，MARL公式在低功耗和延迟等不同目标上始终优于单代理RL基线，如近端策略优化和软Actor-Critic。 To this end, this work opens the pathway for new and promising research in MARL solutions for hardware architecture search.”
找到这里是技术论文。2022年11月出版。
作者:Srivatsan Krishnan, Natasha Jaques, Shayegan Omidshafiei, Dan Zhang, Izzeddin Gur, Vijay Janapa Reddi, Aleksandra Faust, arXiv:2211.16385
留下回复