定义一个基准来评估的挑战推理硬件。
整个行业,很少有标准,客户和潜在的终端用户可以使用来评估一个推理加速度的端到端解决方案。
早在这个空间,加速器的性能是衡量一个数字:上衣。然而,使用单一的局限性已被先前的详细介绍在过去的博客。不过,如果计算的方法利用是常数在不同的平台上,利用数字可能是有用的展示一个架构相比,另一个的相对有效性。
表1:上面的表是由整个市场的抽象级别,计算和数学空间。为所描述的每个抽象层次,存在一个或多个评价指标。这些指标可以使用基准测量的基本操作。
尝试一个标准化的微基准测试套件回旋的内核和其他常见神经网络操作并没有导致广泛采用。Macrobenchmarks或基准模型,系统级性能更好的指标,但有潜力的微基准测试给出一个更全面的描述性能计算空间。
最后,绩效评估堆栈的顶部,有macrobenchmarks实际cnn。MLPerf的贡献者和组织者所做的一个值得关注的工作重点的列表模型在一系列潜在的终端应用,macrobenchmarks周围基础设施和建设运行它们更容易。然而,这种方法比较跨平台性能仍不完整,作为一个CNN模型的性能不一定是合适的预测另一个CNN在相同的硬件上的性能。
尽管各种各样的指标来测量加速度的性能在不同的体系结构、关键决策者和系统建造者还努力使不同的推理加速解决方案之间的横向比较,要求任何评价包括实际客户工作量。此外,性能度量只是客户的评估过程的开始,随着工作的新组件或流程集成到现有系统或工作流可以否定任何性能优越的体系结构。然而,通过提高基本操作的性能的不同层之间传递推理堆栈,芯片、微、和神经建筑设计师将继续推进各自的边界层”,允许新的和更好的产品在应用程序级别。
|
|
|
|
|
|
|
|
留下一个回复