Arm、英特尔和英伟达提出了8位浮点(FP8)格式的规范，可以提供一种通用的可互换格式，适用于人工智能训练和推理，并允许人工智能模型跨硬件平台一致地操作和执行。
找到题为“FP8格式的深度学习”的技术论文在这里．2022年9月出版。
文摘:
FP8是加速深度学习训练推理的自然发展，超越了现代处理器中常见的16位格式。在本文中，我们提出了一种8位浮点(FP8)二进制交换格式，由两种编码组成- E4M3(4位指数和3位尾数)和E5M2(5位指数和2位尾数)。E5M2遵循IEEE 754惯例来表示特殊值，E4M3的动态范围通过不表示无穷大和只有一个尾数位模式的nan来扩展。我们展示了FP8格式在各种图像和语言任务上的有效性，有效地匹配16位训练会话实现的结果质量。我们的研究涵盖了主要的现代神经网络架构——cnn、rnn和基于transformer的模型，所有的超参数都与16位基线训练会话保持不变。我们的训练实验包括大的，高达175B参数的语言模型。我们还检查了FP8训练后量化的语言模型，使用抵制定点int8量化的16位格式训练。”
作者:保利乌斯·米奇维希乌斯，杜桑·斯托西奇，尼尔·伯吉斯，马略·科尼亚，普拉迪普·杜贝，理查德·格里斯森韦特，桑原·哈，亚历山大·海内克，帕特里克·贾德，约翰·卡马卢，纳文·梅伦普迪，斯图尔特·奥伯曼，穆罕默德·休伊比，迈克尔·萧，吴豪。
引用:arXiv: 2209.05433 v1。
Imec的计算路线图;美国对华为为目标;美印。特遣部队;China-Bolivia交易;布鲁克揭开了白光干涉测量系统;三星量化可持续性;麦肯锡指出了美国晶圆厂建设的问题;发光二极管。
留下回复