请注意这些关键方面，以确定适合您需求的加速器。
人工智能推理加速器有很多种，应用范围也很广。
没有哪个AI推理加速器对每个应用程序都是最优的。例如，对于大多数边缘应用程序来说，数据中心级加速器几乎肯定会太大，消耗太多能量，成本太高。一个最适合关键字识别的加速器将无法处理更多计算密集型的图像cnn。
像Goldilocks一样，应用程序的最佳AI推理加速器需要“刚刚好”。
根据我们的经验，许多客户已经有了他们正在运行的神经网络模型，他们希望在成本、功率和尺寸限制下，在该模型上获得更高的吞吐量。
最近的一项产品公告称，一种流行的神经网络模型的帧速率比Nvidia Xavier快10倍，而功耗只有Nvidia Xavier的一小部分。
但你需要了解整个情况。
如果给定帧率，你无法判断它有多令人印象深刻，因为你不知道:
如果权力被授予，你需要知道:
让这两个供应商在你的图像大小和你喜欢的数字上对你的神经网络模型进行基准测试;如果他们以任何方式改变了模型或权重，让他们给你预测精度的影响。
询问以上所有问题，以确定与应用程序相关的操作条件的吞吐量和功率。
同样，获得一个演示:如果供应商不能演示他们声称的内容，那就意味着有些事情是不对的!当你得到一个演示时，要求看直播而不是视频——如果你在现场，把手放在摄像机前以验证它是实时的;如果你用Zoom，让他们把手放在镜头前。关键是要验证推理实际上是实时发生的，而不是预先录制的，并以某种方式修改为更好看的东西。新鲜水果比罐头水果好。
得到价格信息，在相同的体积下，如果你不能得到，问一下模具尺寸是多少，在什么过程中得到相对成本的感觉。
对你来说“刚刚好”的最佳加速器将在你的图像大小和你的目标预测精度下为你的模型提供最佳的吞吐量/美元和最佳的吞吐量/瓦特。
当你听到一个令人印象深刻的性能数据时，要注意不要过早下结论，因为你不知道所有必要的数据来判断它。供应商提供的信息越少，他们隐藏的信息可能就越多。
获取所有的数据，这样你就可以确保选择适合自己的水果。
|
|
|
|
|
|
|
|
留下回复