design-by-optimization范式要求一种新的方式看待硬件和软件是如何交互的。
在过去的几十年里,软件已经为无数应用程序创新的引擎。从电脑到手机的、定义良好的硬件平台和指令集架构(ISA)使许多重要进展在垂直市场。
的出现大量数据计算改变software-hardw新利体育在线完整版are平衡在一个戏剧性的方式。不同的人工智能应用于人脸识别、虚拟援助,自驾车辆和更多的人分享一个共同的特点:他们依靠硬件为核心的创新的推动者。自2017年以来,人工智能硬件市场每年增长了60 - 70%,并在2025年预计将达到650亿美元。
来源:Tractica
要回答这个问题,重要的是要从一个关键观察:软件正在改变。在传统的软件设计中,计算机科学家专注于设计算法来匹配特定的问题和在高级程序语言实现。一些算法可以螺纹利用可用的硬件,但大规模的并行性仍然难以捉摸的含义Amdahl法则。
Amdahl法则在加速的效果在串行模式下时钟周期时间的一小部分
约翰轩尼诗大卫·a·帕特森10.1145 / 3282307
今天的大数据的出现和connected-everything启用设计的优化。这是一个新的范例,数据科学家使用固有的并行计算系统,如神经网络(NN),摄取大量数据,通过迭代优化训练自己。通过调整神经网络的体系结构及其参数值不同,数据科学家可以创建经验(即统计)软件解决方案的问题,没有实际的算法(或多项式时间)的实现。重要的是,这些解决方案本质上是并行的,可以打破传统约束的算法设计。
这就是硬件成为解决方案的一个关键组成部分。
不用说,我们的传统重执行软件——标准化的指令集架构(ISA)主导的计算机世界几十年——不是为新design-by-optimization范式而设计的。在撰写本文时,威震天,比起世界上最大的的基于变压器语言神经网络对自然语言处理(NLP),是83亿年的一项参数变压器语言模型和并行性和64 - 8路模型方法数据并行性(来源:英伟达)。这个模型的数据集通常pre-trained 33亿字。执行这样的模型,最近推出了NVIDIA GPU A100旨在提供312 teraFLOP FP16计算能力。另一个例子,谷歌的张量处理单元(TPU),可以结合Pod配置超过100次的处理能力训练神经网络模型(来源:谷歌)。
AlexNet AlphaGo零:300000 x增加计算。来源:开放的人工智能
云AI设计特点是大量的维度,多层次的物理层次,locally-synchronous globally-asynchronous架构,非常分散的平面布置图。
这些电路嵌入在无数的应用在汽车,消费者和企业机器人、无人机、智能音箱,手机、平板电脑等。这些应用程序实施实时要求和安全性至关重要的影响。Autonomous navigation, example, 强加 了 一 个 计算 响应 延迟 20 s. 的 极限Voice 和 视频 助理 必须 理解 口语 关键 字 在 不到 10 s 几百 milliseconds. 和 手势
到2021年,将有超过80亿部智能手机出货AI处理引擎,有的是小至1平方毫米。边很快就会成为世界上最大的计算环境,设备已经能够通过其训练有素的浮点运算的神经元,以满足交互式应用程序的需求。到2025年,据估计,世界上70%的人工智能软件将运行在边缘(来源:Tractica)。估计不包括“霾”设备,如微型服务器或边缘路由器。
宽边的人工智能应用程序。
边缘AI设计通常是小型嵌入式引擎但需要处理成百上千的设计角落,极端的可变性,超低功率要求和异构集成(例如传感器)。
硬件设计已经成为一个核心的创新推动者AI的时代。同时,提出一组独特的挑战它的先驱,云和边缘部分推动现有的硅技术的极限性能,权力,和面积。这个博客系列,设计人工智能机器,将探索关键设计挑战和解决方案构建人工智能处理硬件,明天从今天的AI加速器的认知系统。
|
|
|
|
|
|
|
|
|
|
留下一个回复