文摘:
“fpga在为深度神经网络(DNN)推理应用提供低延迟和节能解决方案方面显示出巨大潜力。目前，云中的大多数基于FPGA的DNN加速器以分时多路复用方式运行，供多个用户共享一个FPGA，并且需要重新编译∼开销为100秒。这种设计导致多用户隔离性差，性能损失严重，远远不能为公有云和私有云场景提供高效灵活的FPGA虚拟化。
为了解决这些问题，我们提出了一种基于DNN加速器的指令体系结构集(ISA)虚拟化框架。我们通过引入两级指令调度模块和基于多核的硬件资源池来实现隔离。这种设计提供了隔离的和运行时可编程的硬件资源，进一步导致了多个用户的性能隔离。另一方面，为了克服重编译的巨大开销，我们提出了一种基于平铺的指令帧包设计和两阶段的静态-动态编译。只有轻量级运行时信息被重新编译∼1ms的开销，因此私有云的性能得到了保证。我们广泛的实验结果表明，与之前使用单核和多核架构的静态设计相比，所提出的虚拟化设计分别实现了1.07-1.69倍和1.88-3.12倍的吞吐量提升。”
找到技术纸在这里．
留下回复