保持推理处理器的数据需要极高带宽的内存。
推理模型的规模和复杂性的迅速增长，使得在网络边缘和端点设备上部署越来越强大的硬件成为必要。为了让这些推断处理器和加速器能够获得数据，需要提供极高带宽的最先进的内存。本文将探讨GDDR6如何支持人工智能和机器学习(AI/ML)推理工作负载的内存和性能要求。
图像双数据速率(GDDR)内存可以追溯到pc和主机上3D游戏的兴起。最早的图形处理单元(GPU)包含单数据速率(SDR)和双数据速率(DDR) DRAM -与CPU主存使用的解决方案相同。随着游戏的发展，对更高帧率和更高分辨率的需求推动了对特定于图像工作负载的内存解决方案的需求。
GDDR6是一种最先进的图形存储解决方案，性能达到18gb /s (Gbps)，每个设备带宽为72gb /s。GDDR6 DRAM采用32位宽接口，由两个完全独立的16位通道组成。对于每个通道，写入或读取内存访问是256位或32字节。并行-串行转换器将每个256位数据包转换为16个16位数据字，这些数据字在16位通道数据总线上按顺序传输。由于这个16n的预取，1ns的内部阵列周期时间等于16gbps的数据速率。
AI/ML传统上部署在云中，因为它需要大量的数据和计算资源。然而，我们现在看到越来越多的AI/ML推理转移到网络边缘和端点设备中，将计算密集型的训练留在云中完成。处于边缘的AI/ML具有许多优势，包括能够更快、更安全地处理数据，这对于需要实时操作的应用程序来说尤其重要。当然，这就需要特定的内存需求。
对于推断，内存吞吐量速度和低延迟是至关重要的。这是因为推理引擎可能需要处理大量的同时输入。例如，自动驾驶汽车必须处理视觉、激光雷达、雷达、超声波、惯性和卫星导航数据。随着推理越来越多地转向人工智能驱动的边缘和端点，对经过制造验证的内存解决方案的需求是至关重要的。凭借数百万个设备的可靠性，高效的成本，出色的带宽和延迟性能，GDDR6内存是AI/ML推断应用程序的绝佳选择。
Rambus GDDR6内存子系统专为性能和电源效率而设计，支持AI/ML的高带宽、低延迟要求，用于训练和推断。它包括一个共同验证PHY和数字控制器-提供一个完整的GDDR6内存子系统。Rambus GDDR6接口完全符合JEDEC GDDR6 JESD250标准，每引脚支持高达16 Gbps。
AI/ML应用程序继续以闪电般的速度发展，而内存确实是实现这些进步的关键。内存产业生态系统，包括像Rambus这样的内存IP提供商，正在继续创新，以满足这些苛刻系统的未来需求。
额外的资源:
|
|
|
|
|
|
|
|
|
|
留下回复