技术论文

将军:打破了记忆与最佳的张量Rematerialization墙

受欢迎程度

来源:发表在arXiv10/7 / 2019

  • 帕拉斯耆那教徒的
  • Ajay耆那教徒的
  • Aniruddha Nrusimha
  • 阿米尔戈拉米
  • Pieter Abbeel
  • 库尔特Keutzer
  • 离子斯托伊卡
  • 约瑟夫·e·冈萨雷斯

最近的一篇论文发表在arXiv的团队加州大学伯克利分校的研究人员指出,神经网络越来越阻碍设备内置的能力有限GPU内存。加州大学伯克利分校的团队使用现成的数值解决制定最优rematerialization任意深层神经网络策略与非均匀TensorFlow计算和内存开销。此外,加州大学伯克利分校的团队演示了如何优化rematerialization允许更大的批量大小和大幅减少内存使用,以最少的计算开销在一系列图像分类和语义分割架构。



留下一个回复


(注意:这个名字会显示公开)

Baidu