来自苏黎世联邦理工学院的研究人员的新技术论文“MiniFloat-NN and ExSdotp:用于RISC-V核上低精度训练的ISA扩展和模块化开放硬件单元”;博洛尼亚大学DEI;Axelera AI。
摘要
“低精度格式最近通过减少神经网络模型的内存占用和提高底层硬件架构的能源效率，推动了神经网络(NN)训练和推理的重大突破。窄整数数据类型已被广泛用于神经网络推理，并已成功地推向三元和二进制表示的极端。相比之下，大多数面向训练的平台至少使用16位浮点(FP)格式。低精度数据类型，如8位FP格式和混合精度技术，直到最近才在硬件实现中进行了探索。我们提出了MiniFloat-NN，一种用于低精度NN训练的RISC-V指令集架构扩展，支持两种8位和两种16位FP格式，并扩展操作。扩展包括点积和指令，以更大的格式累积结果，以及三项相加的两种变体:展开和非展开。我们实现了一个ExSdotp单元，以在硬件上有效地支持这两种指令类型。ExSdotp模块的融合特性防止了由于两个连续FP添加的非结合性而产生的精度损失，同时与两个扩展的融合乘法-加法单元级联相比，节省了约30%的面积和关键路径。我们在SIMD包装器中复制ExSdotp模块，并将其集成到开源浮点单元中，再与开源RISC-V核心耦合，为未来针对低精度和混合精度NN训练的可扩展架构奠定了基础。包含8个扩展内核的集群共享一个临时存储器，采用12 nm FinFET技术实现，当计算0.8 V, 1.26 GHz的fp8 - fp16 GEMMs时，最高可达575 GFLOPS/W。”
找到这里是技术文件．2022年7月提交。
作者: Luca Bertaccini, Gianna Paulin, Tim Fischer, Stefan Mach, Luca Benini。arXiv: 2207.03192 v1。
参观半导体工程技术论文库并发现更多芯片行业的学术论文。
留下回复