推测不同于训练在机器学习应用程序如何

机器学习(ML)的系统开发方法采用完全不同的编程风格比历史上用于计算机科学。这种方法使用示例数据训练模型,使机器学习如何执行一项任务。毫升训练与每个新的训练数据块高度迭代生成数以万亿计的操作。培训过程的迭代特性结合非常大的训练数据集需要达到高精度驱动极高性能浮点处理的要求。大多数新模型描述他们的培训需求的GPU加速卡的数量和周的处理要求。培训设备典型的视觉模型范围的价格从几十万到几百万美元,还需要操作千瓦电力测量。这些通常rack-scale系统。毫升训练是最好的实现为数据中心基础设施,可以平摊在许多不同的客户来证明高资本和操作费用。

推断法,另一方面,使用训练模型的过程产生可能匹配的新数据相对于模型训练的所有数据。推测,在大多数应用程序中,寻找快速回答,可以到达,以毫秒为单位。推论的例子包括语音识别、实时语言翻译、机器视觉、和广告插入优化决策。训练相比,推论需要的一小部分的处理能力。然而,这仍是远远超出传统CPU-based系统提供的处理。因此,即使推测,加速度(在SoC的IP或作为一个系统加速器)需要实现合理的执行速度。

一些实际例子有助于说明计算我们在这里谈论的规模。在上面的表中,我们可以看到,计算需要编译Linux内核TeraOps大约是5.4。这个计算大约需要一分钟新,提供电脑使用英特尔i5 - 12600 k的CPU。非常快!然而,花一分钟,甚至几秒钟来处理图像在视觉系统不是很有用。工业视觉系统正在寻找次秒级处理速度。在这个示例中,我们使用40毫秒作为推理的目标速度,相当于每秒25帧。这导致TeraOps /秒的要求远远高于i5可以交付。事实上,这个工作负载的X1加速器将比这个指标的i5处理器500 x。它应该重申,i5 CPU和X1加速器是解决不同的问题。 It would be impossible for the X1 accelerator to be used to compile Linux and while the general-purpose processing capabilities of the i5 make it capable of processing inference workloads, it will lag the X1 significantly in terms of performance and efficiency.

模型推论是更好的在边缘,它更接近的人寻求受益于推论的结果决定。一个完美的例子是自驾车辆不能依赖推理处理一些数据中心的链接会容易高延迟和断断续续的连接。

上表也提出了模型训练的一个例子。这是基于10天的训练时间报道使用可可数据集构建Yolov3模型的实例4日GTX 1080 Ti GPU。这个工作负载,如果我们假设GPU提供11.3浮点运算和四个都跑了10天,然后需要40 ExaOps完成。这是4000万倍比单一推理所需的计算。

考虑到极高的处理需求,更不用说数据存储和通讯要求培训,数据中心基础设施培训处理显然是最好的地方。

这之间明确的二分法训练和推论,我们必须考虑是否有意义为两个应用程序使用相同的技术。

发散发散问题的解决方案
在最近的一份白皮书[4],亚历山大Harrowell Omdia指出:“人工智能模型训练是高度计算密集型和还需要完整的通用的可编程性。因此,它的领域高性能图形处理单元(GPU),与高带宽内存和强大的cpu。这表明,部署中使用的相同硬件训练推理工作负载可能意味着过度供应的推理机与加速器和CPU硬件。”

在同一份报告中,Harrowell先生估计,到2026年将会有非常明确的边缘上的差异和数据中心解决方案技术方法与基于gpu的解决方案继续带头在数据中心和定义AI asic主导优势。

毫升的方法解决方案开发的激增,这将是非常重要的对于开发人员认识到成长的工具和技术来创建毫升技术在过去的十年里,主要是基于gpu的解决方案,将不是最好的解决方案的部署毫升推论技术体积。同样的压力,推动了极端专业化半导体技术在过去的几十年里将推动高效高性能推理处理边缘应用程序。

边缘有许多明确的技术原因推断加速器将非常不同于GPU用于培训和模型发展的解决方案。下表比较了NVIDIA杰森AGX,通常用于边缘推理应用程序与Flex Logix X1推理加速器。明显,X1是能提供更低的权力,更低的成本和更高的效率比基于gpu的AGX解决方案,同时还提供一个令人信服的推论应用程序的性能。

软件和工具需求的差异
最后一个重要的区分毫升训练和推论是相关软件环境。在模型开发培训和测试有许多方法被使用。这些包括流行的库如NVIDIA的CUDA gpu,毫升框架TensorFlow和PyTorch等,优化跨平台的模型库,如Keras和许多更多。这些工具集毫升模型的发展和培训至关重要,但当谈到推论应用程序中,有一个完全不同的和更小的软件工具是必需的。推论工具集的重点是在目标平台上运行模型。训练模型的推理工具支持移植到这个平台上。这可能包括一些操作符转换,量化和主机集成服务,但它是一个相当简单的函数集所需的模型开发和培训。

推理的工具开始受益于一个标准的表示模型。开放的神经网络交易所(ONNX)代表毫升模型是一个标准的格式。顾名思义,它是一个开放标准和管理Linux基金会项目。ONNX允许解耦等技术培训和推论系统和为开发人员提供了自由选择的最佳平台培训和推论。

结论
随着机器学习方法越来越广泛采用边缘和嵌入式系统,将会有越来越多地利用自己的优势智能ASIC技术提供了更有效和具有成本效益的性能比基于gpu的解决方案。ONNX等技术的出现使它更容易采用inference-specific模型解决方案,因为他们提供一条干净地分离毫升推论的ML训练和测试任务的任务。

企业部署人工智能技术欠自己评估推论的最佳解决方案,而不是假设所有GPU上实现人工智能的解决方案是最好的设备。

引用
[1]https://openbenchmarking.org/test/pts/build-linux-kernel(英特尔酷睿i5 - 12600 - k)
[2]https://www.cpubenchmark.net/cpu.php?cpu=Intel +核心+ i5 - 12600 - k&id = 4603
[3]https://www.anandtech.com/show/11172/nvidia -揭示geforce - gtx公司- 1080 - ti -下-星期- 699
[4]https://omdia.tech.informa.com/OM020291/Decoupling-AI-training-and-inference-will-change-the-future-of-AI-silicon
[5]https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-agx-xavier