内存吞吐量速度和低延迟的至关重要,推理从数据中心转移到网络边缘。
AI /毫升以闪电的速度发展。用不到一个星期的时间现在没有一些新的和令人兴奋的领域的发展,和应用程序像ChatGPT带来了生成人工智能能力坚定公众关注的前沿。
AI /毫升是两个应用程序:培训和推理。每个依赖记忆表现,每个都有一组独特的需求驱动的选择最好的内存解决方案。
通过训练,内存带宽和容量需求至关重要。这是特别考虑到神经网络的规模和复杂性数据模型,每年以10倍的速度增长。神经网络精度取决于质量和数量的例子在训练数据集转化为需要大量的数据,因此内存带宽和容量。
考虑到创造的价值通过培训,有一个强大的诱因运行尽快完成培训。作为培训应用程序运行在数据中心越来越对权力的约束和空间,解决方案,提供功率效率和较小的大小是受欢迎的。鉴于所有这些需求,HBM3 AI是理想的内存解决方案培训硬件。它提供了良好的带宽和容量的能力。
神经网络的输出训练是一个推理模型,可以广泛部署。这个模型中,一个推论装置可以处理和解释输入训练数据的范围之外。推理、内存吞吐量速度和低延迟是至关重要的,特别是当实时行动是必要的。随着越来越多的人工智能推理从数据中心的核心转移到网络边缘,这些记忆特性变得更为重要。
设计师有很多记忆选择AI /毫升推理,但在带宽的关键参数,GDDR6真正闪光的记忆。24吉比特每秒的数据速率(Gb / s),和一个32位宽界面,GDDR6设备可以实现每秒96字节(Gb / s)的内存带宽,任何替代DDR或LPDDR两倍多的解决方案。GDDR6内存提供了一个伟大的速度、带宽和延迟性能AI / ML推理,特别是推理的优势。
Rambus GDDR6内存接口子系统提供24 Gb / s的性能和基础是建立在超过30年的高速信号完整性和电源完整性(SI / PI)技术,对高速运营GDDR6至关重要。它由一个PHY和数字控制器——提供了一个完整的GDDR6内存接口子系统。
和我一起在本月Rambus研讨会”高性能AI /毫升推理与24 g GDDR6记忆“发现GDDR6如何支持的内存和性能要求AI /毫升推理工作负载和学习的一些关键GDDR6内存接口子系统的设计和实现问题。
资源:
|
|
|
|
|
|
|
|
|
|
留下一个回复