底层的测试条件如何发挥作用,当看着基准数据。
有更多了解的真正功能之外的一个人工智能引擎每瓦。而任意数量的测量操作单位功率的发动机,顶部/ W度量完全忽视了一点:一个操作在一个引擎可能比许多操作完成更有用的工作在另一个引擎。在任何情况下,上衣/ W决不是唯一的规范系统架构师或芯片设计应该使用在决定最好的人工智能引擎独特的应用需求。任何有经验的系统设计师都会告诉你,等因素软件栈,芯片尺寸/区域要求,适合特定的神经网络,和其他人往往更重要。
不过,上衣/ W通常是第一个性能基准提供转专业(神经处理单元)制造商,它可以是有用的,如果考虑上下文中的底层测试条件。不幸的是,没有标准化的方法配置硬件或报告基准测试结果,这使它具有挑战性当比较不同的转专业。让我们探索底层测试条件如何发挥作用时看上衣/ W基准数据。
顶部度量定义根据公式:= mac *频率* 2。让我们先从部分的频率方程。没有“最好的”或“最正确”一个转专业制造商应该使用的频率。频率是依赖于流程节点,因为它在转专业的设计。考虑一个54 k MAC引擎1 ghz生产108顶,而同样的54 k MAC引擎在135年1.25 ghz的收益率。增加频率导致更多的顶部,但在不成比例地增加能耗的成本。在芯片转专业的情况下,最大处理频率将是固定的,而对于基于ip的转频率将取决于实际的硅实现。当比较来自不同供应商的基准测试结果,规范化是很重要的对于任何频率的差异。
正常化后的频率,我们接下来需要检查神经网络用于测试。神经网络有广泛的特点。
上图中突显出五个常用的神经网络有巨大的差异处理。例如,尽管Yolo V3意思Unet约60%的业务,它有超过30倍的重量。因此,处理需求(和性能)为每个会有所不同。运行在相同的引擎,这两个网络将产生不同的结果。运行通过竞争引擎,两个网络可能会产生极大的不同结果不一定代表实际的竞争性能。得到一个精确的人工智能引擎的详细比较,我们需要运行相同的网络。
同样重要的是要考虑网络的精度(s)用于基准性能。发动机运行在INT4神经网络的精度水平只会需要处理一半的数据相比,一个INT8精度,从而大大降低处理负载。理想情况下,转专业提供商将报告数据为同一网络的所有层的精度水平。在实践中,一些引擎将减少精度在某些processing-intense层留在权力信封。虽然这种方法本身既不正确和不正确的,它可以是混乱的基准测试的目的,作为人工智能引擎,降低精度在一个或多个层可以给加工优势的外观与另一个引擎,雇佣了一个更高级别的精度在整个网络。
下一个问题,需要考虑是否使用稀疏或修剪。稀疏和修剪都是被普遍接受的方法,避免在乘法计算基于0值方程或删除冗余模型的最不重要的部分。使用这些技术可能会导致重大的PPA(性能、动力区)得到一些稀疏网络允许30%或更多,尽管(小)负面影响精度。如果未在顶部的假设/ W,前面的示例将提供一个人工30%性能优势和另一个转0稀疏是同一个网络上使用。
我们现在需要考虑相关的流程节点功耗。的主要优势之一搬到流程节点小节点通常需要更少的功率相同的动作。例如,台积电5纳米的处理器可能会消耗大约25%功率低于相同的处理器在台积电7海里。这是真正的IP和芯片转专业。流程节点有一个强大的对性能的影响,必须考虑当比较基准数据。问一个转专业的供应商是很重要的电力数据是否在实际测量硅,推断从实际硅,或基于模拟。如果实际使用硅,然后厂商应该指示哪些流程节点,应该考虑到流程节点的比较。
人工智能行业中的一个热门话题是如何记忆的能耗占上衣/ W的谈话。一些人工智能供应商做的,而另一些则不。无论如何,所有AI引擎需要记忆力了需要大量的内存相比。一个合理的策略思考多少内存是适合您的应用程序和规范化报告相应的结果,并确保能耗因素。
正如我们所看到的,它是不容易评估和比较一个转专业的性能潜力。然而,还有一个因素是经常被忽视:处理器利用率。像所有的处理器,转专业并不是100%利用。这意味着对于一定比例的时候,处理器空闲等待下一个数据集,它变化在内存。尽管处理器可能有“甜蜜点”他们的表现范围内,利用率高,总的来说,这往往大相径庭的性能范围内。拥有高利用率是一件好事,因为它最小化空闲时间和摊位可以阻碍性能。与此同时,它减少了所需的功率和面积。这是因为,原则上,一个处理器运行在90%的利用率可以做的工作两个同类处理器运行在45%的利用率。
它肯定会更容易如果所有转专业芯片和IP制造商宣布上衣/ W规范标准的方式,或者至少是包括所有底层上面讨论的配置信息。在缺席的情况下,这些评估转专业应该要求这种程度的披露所有他们正在考虑转专业。
|
|
|
|
|
|
|
|
|
|
留下一个回复