边缘AI市场和生态系统领导在哪里?

直到最近,大多数人工智能是在数据中心和大多数培训。事情正在改变很快。预测AI销售将快速增长10年代的数十亿美元到2020年代中期,大部分增长的边缘AI推理。

边缘推理应用程序
今天的边缘推断市场在哪里?让我们看看市场从吞吐量最高到最低。

边缘服务器
最近英伟达宣布首次推理销售超过培训。这可能是运送到数据中心,但也有许多应用程序在数据中心之外,通常称为“边缘。“这意味着作为PCIe推理的销售板的边缘推理应用程序可能每年数亿美元和快速增长。

有广泛应用:监测、面部识别、零售分析,基因组学、基因测序等。因为培训完成浮点和量化需要很多的技能/投资、最边缘服务器推理可能在16位浮点只有INT8最高容量的应用程序做。作为PCIe推理董事会从75 w (Nvidia Tesla T4)到200 w (Habana戈雅)。

自主车辆
一年前汽车制造商和供应商谈论会迅速全面自主驾驶自己的定制芯片。今天的计划更温和,使用现成的解决方案(我们听到Xavier AGX和NX很多)中期2020年款的对象检测和校正,在像素的图片,被用作一个司机补充增加的安全。卷,现在,在成千上万的引人注目的测试车辆如谷歌Waymo大相机和引人注目的激光雷达和电子的树干。在5年内,卷可以在数百万完整大众市场二级对象检测和校正。

无风扇系统图像/ CNN应用程序
这里的主要球员Nvidia杰森(Nano, TX2 Xavier AGX和泽维尔NX)在个位数瓦5-30W和英特尔Movidius无数但~ 1/10^th的吞吐量。这里的应用程序覆盖非常广泛:监控摄像头,基因测序,家里门铃,医疗系统(如超声波),光子学、机器人视觉等等主要做cnn也做广泛的cnn模型截然不同的形象。

球迷在这个市场是不可接受的。我们跟客户渴望吞吐量和正在寻找解决方案,给他们更多的吞吐量和更大的图像大小相同的功率/价格,今天他们使用:当他们得到他们的解决方案将更准确、可靠和市场将加速采用和扩张。因此,尽管应用程序现在的成千上万的单位,这将快速增长与推理的可用性,提供越来越多的吞吐量/和吞吐量美元/瓦特。

这个细分市场应该成为最大的随着时间的推移,由于广泛的应用程序。

声音和低吞吐量推理
cnn形象需要数万亿mac /秒。声音处理数十亿的mac /秒甚至更少的关键词识别。这些应用程序,像亚马逊呼应,已经采用和体积非常重要,但美元/芯片更少得多。球员们在这个市场是完全不同于上述细分市场。

重要的边缘推断客户
第一个是延迟。边缘系统是决定图像高达60帧每秒。例如,在一辆车,它显然是重要的对象就像人一样,自行车和汽车被发现,他们的存在在尽可能少的时间采取行动。在所有的边缘应用延迟是# 1这意味着批量大小几乎总是1。

二是数字。许多边缘服务器客户将留在浮点很长一段时间,和BF16对他们来说是最简单的,因为他们只是截断16位FP32输入和权值。无风扇系统将INT8如果他们是高容量但许多将BF16如果卷在成千上万的量化的成本和复杂性。一个推理加速器,可以做给客户的能力开始迅速BF16和无缝地转移到INT8当他们准备在量化投资。

三是为客户吞吐量的模型和图像的大小。任何给定的客户通常是运行一个模型和知道他们的图像大小和传感器帧速率。几乎每一个应用程序要处理像素的图像(1、2或4)30帧速率甚至60帧/秒。大多数应用程序是cnn愿景,但有许多应用程序不同的模型,即使是处理三维图像(认为MRI,…)或激光雷达或金融建模。唯一的客户运行不止一个模型汽车,必须处理器视觉、激光雷达和1或2同时其他模型。

第四个是效率:几乎所有的客户想要更多的吞吐量/图像大小每美元和每瓦。大多数告诉我们,他们想增加吞吐量和增加他们当前的图像大小美元预算和预算。但随着吞吐量/和吞吐量美元/瓦特的增加,新应用将成为可能在低端市场的交易量非常大。

边缘推理加速器生态系统前景
市场今天是Nvidia的王作为PCIe推理董事会和Nvidia Tesla T4杰森无风扇的边缘系统的模块。

英特尔的Movidius无数X无数接收管但吞吐量是一个数量级低于Nvidia杰森Xavier AGX / NX和客户使用他们做出重大牺牲图像大小,帧速率,模型复杂度,从而预测精度。英特尔最近宣布在热芯片8月春天山,现在叫NNP-I,但没有发表任何基准ResNet-50基准热未指明的批量大小的芯片。

英特尔的市值超过2000亿美元,Nvidia的超过1000亿美元。为他们两人成功的边缘推理是非常重要的维持他们的市场估值。

创业公司呢?

在边缘推断第一个成功与Habana Habana实验室戈雅推理董事会在200 w比特斯拉T4更高的吞吐量。英特尔传说今天在商谈收购Habana超过10亿美元,这将使它的3^{理查德·道金斯}人工智能主要收购Movidius和Nervana之后。

英特尔和Nvidia都会在压力下获得新兴赢家而不是失去关键的市场份额,它将影响他们的市值。这使得风险投资家很高兴。不是所有的新兴赢家将选择收购取决于他们的经济和资本的必要性。

Groq和硬砂岩(nee ThinCI)都声称硅工作但没有发表任何标准或规范。都似乎是针对数据中心的水平。神话还声称工作硅但没有给定的标准或规范。

大多数创业公司作为PCIe板边缘和目标数据中心应用程序,像Habana,每板。75 w或更

创业公司很少,除了Flex Logix和神话,针对CNN无风扇系统。两家公司的芯片也可以用于低功耗,低成本但高性能作为PCIe板边缘服务器。

另一组的创业目标是更低的吞吐量,降低电力的声音推断细分市场。

人声称有近100人工智能芯片今天初创公司。几乎没有进入市场,尽管一些一直资助5年前。大量的资金流入公司从投资者押注市场的承诺和所谓的竞争优势由创始人承诺。客户告诉我们,他们听说过很多承诺,几乎没有交付在硅时可用。看来,许多初创企业没有准确的性能建模和/或不开发他们的软件与硬件架构,导致实际性能实现的主要不足。我们听到的传言,一个高调启动了硅是远远达不到客户预期,我们已经看到很多来自团队成员的简历说该组织被关闭。

神经网络是非常便携与光和ONNX TensorFlow等标准,所以在一个给定的市场将会有几个赢家和输家,决定将很快在2020年和2021年。2020年底创业群人工智能芯片可能会减少一半,2021年底最多20家公司。最多,将会有2 - 3在每个主要部分:培训、数据中心推论,边缘服务器推断,无风扇的图片/ CNN系统和语音推断;3成功者每15幸存者。

边缘推断是边缘的快速增长
优势的可用性推理加速器替换cpu、gpu和fpga在更高的吞吐量和吞吐量美元/瓦特将导致快速市场扩张。

和快速增长的市场的众多竞争对手的存在将导致吞吐量快速创新,进一步提高效率和准确性。

未来5年将增长和创新的浪潮客户对于那些推理芯片公司的优越的架构。