一个转专业买家指南

选择合适的人工智能推理转专业(神经处理单元)芯片架构师是一个关键的决定。有很多岌岌可危,因为AI格局不断变化,选择将影响整个产品成本、性能和长期生存能力。有无数的选择对系统架构和IP供应商,这可以为即使是最艰巨的半导体经验丰富的老兵。与许多客户合作后,我们已经确定了具体项目芯片架构师将需要考虑当选择一个转专业。

芯片设计者需要考虑的因素,如工作负载的类型,包括神经网络的结构和算法,数据集的大小,内存和带宽需求、功耗、性能、成本、和特定于应用程序或市场需求,如电池寿命和环境要求。通常选择边缘的加速器AI的决定性因素是是否能满足非常紧密的权力和面积要求。

oem厂商通常会有独特的问题,可能需要一个可定制的解决方案。不过,首先让我们触及一些最常见的问题,包括通用和优化架构、网络支持、可伸缩性、futureproofing,市场接受度。

通用与application-configured部署

早期人工智能部署最常涉及通用gpu或转专业。那些选择不注重优化特定的神经网络或网络类型。这很好——人工智能的科学还没有发展到自定义或专有网络是很常见的。这是改变,更多的在那之后…

通用转专业很好因为他们不支持特定的用例,它们广泛的网络支持允许转专业运行许多网络类型和模型。oem厂商可以使用一个通用的转专业的信心,它将支持不同的实现,但不一定优化支持。

人工智能的快速发展已经更专业转专业,可以更好地满足OEM的用例。供应商像Expedera提供都是转专业,优化提供最佳性能所需的权力和区域内信封为OEM的用例(年代)。优化的缺点,然而,过多的专业化可能意味着有限支持网络和用例不是捕获在最初的设计中,或在最坏的情况下不支持他们。

并不是所有的转专业架构可以application-configured;即使他们可以,供应商可以调整他们的转专业的程度会有所不同广泛。有些可以稍微优化,而其他人,包括Expedera,可以修改几乎每个体系结构构建块。芯片架构师会理解他们的设备包括PPA的需求和利用目标和探索在多大程度上转供应商能够适应解决他们的需求。

网络匹配

早期的人工智能部署主要使用通用的公共模型。但随着人工智能的发展,所以有能力的oem厂商构建定制的模型具体用例(s)。这些定制的模型可能是基于公共模型,但更常见的是私人或完全自营模式。定制的模型允许oem厂商提供更好的性能,从而更好的用户体验。然而,随着自定义模型的不确定性的支持。此外,自定义模型通常被视为“国家机密”的OEM,所以芯片架构师需要了解灵活的转专业供应商(和他们的工具集)是关于“黑盒”部署。可以通用的转专业支持和运行模型(s)有效吗?或者是application-configured更好的方法吗?

另一个考虑:转专业需要支持多个并发模型吗?的日子一去不复返了,转专业只运行一个模型;oem厂商现在要求转专业有效地运行多个并发模型和经常运行它们。芯片架构师需要平衡他们的模型需要针对转专业的功能并确保,如果他们需要并发模型的支持,转专业可以在确定性、权力和记忆友好的方式。

能否经得住时间的考验

没有人能预测未来,但这并不阻止芯片架构师被要求这样做。人工智能发展如此之快,今天的网络和用例设想的产品可能会在产品的生命周期中变化,甚至只要在开发的产品。因此,芯片架构师需要考虑程度的需要能否经得住时间的考验的产品。可以选择转专业处理新网络?它是如何做呢?如果网络不支持;可以转专业的手或完成网络层到本地CPU或GPU呢?芯片架构师还必须平衡这与硬看他们的产品市场会是多久?目标市场变化有多迅速?他们公司对新网络支持的需求是什么?

可伸缩性

你的新芯片设计不再是你最后一个转专业。当一个公司选择一个计算架构,CPU、是否转专业,GPU,等等,他们在学习中投入的来龙去脉,体系结构,从设计到软件。交换架构是不便宜,所以大多数oem厂商认为处理体系结构不是一个单一的设计基础,但长期来看。因此,芯片架构师需要考虑转专业架构的可扩展性来确定适合未来的产品。

例如,让我们说,目前的设计目标是十顶,但下一代是25。系统架构师需要理解如果架构甚至支持25上衣吗?如果是,将一个引擎足够了,还是转专业需要多核或瓦片支持提高性能?如果需要额外的核心或瓷砖,如何转专业建筑地址内存共享、功耗、带宽、延迟、决定论、固有问题的多核架构?此外,相同的软件用于当前10顶系统被用于25顶系统?最后,——这是一个非常重要的问题你扩大,权力,如何表现,区域(PPA)和利用改变?不幸的是,性能往往不以线性方式进行地区规模和权力。像所有的处理器,转专业有甜蜜点的性能,这些界限可以大大影响PPA以外的移动和利用率。芯片架构师需要预测和考虑后果。

市场接受度

AI世界嘈杂的每一转专业供应商,包括Expedera,敢于宣称他们的表现(有些人甚至支持这些说法3^{理查德·道金斯}方数据和透明度关于性能数字计算)。每转供应商声称市场领先的性能,最小的转专业或者最power-friendly设计。

也许选择正确的转专业最难的部分就是切断这噪音。芯片架构师需要绕过hype-if转专业制造商没有(或不能)提供硅的性能数据,应该能说明问题。证明在pudding-NPU供应商应能提供具体、cycle-accurate PPA估计。更好的是,他们应该能够说有多少设备附带他们的产品,即使他们无法分享客户的名字/保密协议。

结束

而选择正确的转专业不是一颗卑微的心,有优秀的解决方案,和买一个转专业几乎总是一个更快,更好,更便宜,低风险的方法比你自己的。