转专业的利用率增加优化通过网络激活的流动。
尽管吞吐量显著改善,边缘AI加速器(神经处理单元,或转专业)仍经常没有得到充分利用。管理效率低重量和激活导致更少的可用内核用于multiply-accumulate (MAC)操作。边缘的人工智能应用程序经常需要运行在小型,低功耗设备,限制区域和功率分配内存和计算。利用率低,有时被称为黑硅,意味着可以用来计算资源更有效地运行您的应用程序(s)而不是闲置和浪费力量和在你的设计。
提高转利用率的一个方法是通过优化激活在推理的计算。Layerwise计算激活是低效的,因为它需要储存的所有激活的still-to-be-used层神经网络(NN)之前到下一层。另一种方法是了解网络中的细粒度的依赖关系,并创建一个基于高层目标计算顺序。这是通过将每一层分解成“数据包”包含激活通过传播所需的元数据层。
在这个“分组”网络的遍历,从内存中移除一个激活后不再需要。这减少的数量周期需要激活转移到和从外部内存(DDR)。有足够的内存芯片上,这种方法消除了激活移动到外部存储器。
优化网络遍历通过数据包增加MAC利用率使并行计算和并行内存访问。换句话说,转专业提供更多的操作每秒对于一个给定的频率和数量的苹果核。这反过来增加吞吐量没有添加额外的带宽和计算。
优化使用的网络数据包发生在两个步骤:(1)把神经网络转换成包创建一个包,(2)调度数据包流。在第一步中,每一层分成连续的块的元数据(数据包)。层转化成数据包的过程取决于类型的层和一般硬件需求。例如,一层卷积的方式分为数据包可能不是最优的注意或LSTM块。
包最佳的串行计算和串行直接内存访问(DMA)可能不是最适合并行计算和并行DMA。同样,多核比单核转专业转专业可能有不同的包需求。也可用转专业和外部内存资源影响的创建和调度数据包。
层分为数据包后,然后将这些数据包调度运行转专业。而不是被层分区,分为分区由网络可用转内存和外部内存带宽。在每个分区中,数据包调度的确定性,有效的上下文切换。因为包只包含所需的信息计算出每个分区的操作集,他们添加很少的内存开销(在数以千字节的顺序)。
YOLO(你只看一次)意思是一种常见的家庭网络架构的低延迟对象检测。YOLOv3的操作主要是1×1和3×3的隆起相连漏水的解决线性单元(ReLU)激活函数和跳过连接。考虑YOLOv3的例子有608×608 RGB输入和两个图像的批量大小。权重模型包含6300万,其中430万是最大的层,2400万年和2.35亿年激活,在最大的层。总共2800亿例手术是必要的来计算该模型的输出。
现在考虑运行YOLOv3 4 MB可用片上内存的转专业。典型的转专业与layerwise分区需要转移数亿权重和激活外部内存。层2400万激活的认为:只有六分之一的这一层可以存储芯片上,这是没有必要占重量的数百万来计算这些激活。
然而,通过智能调度和执行包,可以分区YOLOv3 DDR转移减少超过80%,如图1所示。
图1:层与基于内存的需求。
张量的减少中间运动不仅增加模型的吞吐量;它还降低了功率、内存和DDR带宽需要达到一个目标延迟。反过来,这降低了转专业所需的面积和成本和外部内存。此外,大型DDR转移通常需要一些层而不是其他人的。与分组分区、不仅可以减少外部内存带宽要求,但也通过网络带宽的方差。这导致方差利用率、低延迟、力量,和吞吐量,在边缘设备上运行的应用程序的关键。
数据包减少数据存储和传输的优势,增加模型性能明显从上面的例子,有人知道由罗或对象不限于检测网络。任何神经网络可以受益于基于分区,如autoencoders、视觉变形金刚,语言变形金刚,扩散网络——所有这一切都是由Expedera今天的架构。基于分区也有助于执行混合精度模型以及网络与复杂层连接。
然而,传统的硬件架构伸张来管理数据包的调度和执行。Instruction-based架构往往有高开销扩展到多个核心。层的体系结构需要大量的内存,如分区YOLOv3的例子所示。
下图显示Expedera的分组结构、silicon-proven和部署在1000万多个设备。与instruction-based或层的抽象,Expedera基于架构包含逻辑执行本机的数据包和重新排序这些数据包而不受惩罚(零成本上下文切换)。架构非常灵活,扩展从共和党的3.2到128年顶在一个核心独立的内存。
图2:层数据包的过程。
在嵌入式设备硬件的要求部署人工智能解决方案不仅快速而且高效。如这里所示,优化激活的流动通过网络可以显著降低数据传输和内存开销。最好的硬件优势人工智能任务应该不仅更快,更聪明,有效地利用可用的资源通过智能调度和执行操作。
|
|
|
|
|
|
|
|
|
留下一个回复