将操作系统和扩展

推动解集和定制的硬件开始反映在软件方面,在操作系统变得更小和更有针对性,补充了额外的软件,可以针对不同的功能进行了优化。

这一转变主要有两个原因。第一个是高度优化的需求上升,越来越多的异构设计,更有效的加上较小,更有针对性的操作系统。第二个是推出AI /毫升几乎无处不在,不受益于整体操作系统被设计用来分配资源和管理权限,为单个设备或跨分布式网络。在这两种情况下,其他软件连接到一个单一的操作系统通过应用程序编程接口增加了功率和性能开销。

“毫升推理代码可以运行在多种处理元素,每个都有不同的功率和性能配置,”Steve罗迪说,首席营销官二次曲面。“你可能有一个情况在手机操作系统的一个状态的操作可能会决定运行毫升工作负载的ML处理器——不管是GPNPU,转专业,或者卸载加速器——但在另一个场景中可以选择运行相同的工作负载在不同资源。”

在一些设计,没有操作系统。相反,这样的框架PyTorch TensorFlow可能有足够的灵活性来处理资源分配,更有效率,但更多的设计。然而,这种方法还提供了迁移软件独立于硬件的灵活性,重要的权力和性能优势。

“在这个行业很难低估易于采用的重要性,“观察史蒂文哇,研究员、著名的发明家Rambus。“没有人会买一个更高效的汽车如果价格不得不坐反了。你需要考虑合适的现有业务实践和供应链内的行为。你的理想是在每个环境本质上即插即用。当你升级到一台新电脑,你想让一个程序运行,而无需重新编译它。”

AI / ML,关键组件是一个计算资源密集型的培训阶段,一般不太密集的推理阶段。推论,指定工作负载在高层图代码和不一定是硬连接到一个特定类型的处理器。这样操作系统来处理其他功能。但它也提供了选择分级操作系统的工作负载。

考虑一个购物推荐应用程序,例如,这说明不同的椅子根据用户的查询。推荐引擎运行最好的和最低的电力专用毫升处理器上。但是,当用户点击一个图标显示推荐椅子叠加在用户的客厅,通过手机摄像头,计算资源需要调整的任务。虚拟的摄像头覆盖椅子变成了最高优先级的任务,需要运行在一个更大的ML处理器,或多个小毫升处理器并行工作,而推荐引擎可能需要切换在一个或多个cpu来提高性能。

随着这些workload-specific需求的增长,目前还不清楚是否整体操作系统能够适应这种程度的专业化。所以当soc是往往被分解到异构和定制的组件,如chiplets,同样的趋势正在在软件方面。

“主要处理器企业正越来越多地在市场部署专用指令集处理器之前仅仅依赖于扩展通用处理器的速度和数量,“罗迪说。“英特尔(加速计算)和AMD (APU)介绍了服务器和笔记本电脑与异构处理器指令集,就像手机处理器厂商利用CPU + GPU +视觉处理器(VPU) + ISP +音频DSP架构了十多年。现在,“交通警察”的核心操作系统这些最新结实的soc映射了各种专门的工作负载在三个或四个或更多处理器的目标。”

更有效的方法是有多个较小的操作系统,或利用其他功能。这一切发生的时候,还是操作系统是否翻新处理额外的任务和瘦身资源为他人还有待观察。但要么是一个重大改变。

“这种复杂性觉得今天现有的操作系统做的延伸,不是批发替代,“罗迪说。“我们没有看到任何原因今天领先的操作系统代码很快就会超越任何时候只要他们发展。他们不需要“取代”在任何意义上,但他们需要得到更好的杂耍任务跨异构资源。”

反思与人工智能操作系统
人工智能本身是一个可能的答案更快的分配。目前,操作系统分配资源的方法之一是猜测用户的下一步行动,通过预测机制像搜索、预取的操作系统决定了下一步提出基于之前使用模式。问题是目前预测的启发式下一步的行动是由人写的,他们必须试着想象和代码为所有可能的场景。这是一个理由为什么操作系统应该更好地适应AIs的功能——和AI本身如何帮助。

“如果你是一个人工智能的人,可以看到这些启发式的结果和对自己说,“这是一个机器试图预测未来发生的事情,”“马丁Snelgrove说,首席技术官把人工智能。“这是什么AI为生。下一代操作系统将扔掉所有这些手工制作的启发式,代之以神经网络。你的机器应该是看着你的使用模式。例如,它应该发现你总是弹出一个Word文档后你终止一个放大的电话。这将使用任何可用空间词主要是预装约20分钟电话放大,因为它知道你的电话通常持续那么久。”

神经网络进一步的理由更小的操作系统。“你的操作系统不需要g了,因为你做的一切都是表达神经网络的结构,并不是很多的代码,“Snelgrove说。“隐喻在Unix中,一切都是一个文件。在人工智能中,隐喻是一切的关键是一个演员,净接收输入,考虑它们,并产生输出。在Unix中你能管的事情,可以有过滤器,可以有输入和输出。在一个人工智能系统,文件可以是一个演员,接收和发送同样的事情。但大多数情况将活跃。如果你有一个网络的工作就是油漆花园所有的玫瑰粉色和绿色,这只是一个演员,你给图片和它给你图片回来。”

展望未来
务实的考虑增加可扩展性,而不是创建一个全新的操作系统,渗透到IBM的方法。1974年,该公司推出了多个虚拟存储(MVS)操作系统。在接下来的几十年里,已经经历了多次更新,最终在当前64位z / OS。

但在2022年,IBM转移方向。它嵌入Telum推理加速器在同一硅作为它的处理器核心,与主机共享内存和三级缓存,以减少延迟和允许更多实时的AI在z / OS应用程序。

企业应用程序,事实证明,是人工智能的梦想去死。训练集可能是巨大的,模型可能是准确的,但大量事务性工作负载客户最需要的是实时推理。

“我们有讨论,进行了调查,并做了大量的研究来了解客户面临的主要挑战是利用人工智能在任务关键型企业工作负载中,“尔必达Tzortzatos说,人工智能在IBM zSystems研究员、首席技术官。“我们发现他们无法得到他们所需的响应时间和吞吐量。

例如,金融机构希望经常做实时欺诈检测可以只做抽样调查,因为拖累吞吐量。[1]为AI履行承诺,欺诈预测需要事务完成前回来。否则,系统没有做足够的保护机构的终端客户,Tzortatos说。

此外,IBM的客户希望能够轻松地使用人工智能没有减慢他们的应用程序或事务性工作负载。“我们听到,‘我希望能够AI嵌入到现有的应用程序,而无需重新构建我的系统或重构这些应用程序。同时,我需要能够满足严格的sla一毫秒的响应时间,”她说。

图1 AI的生态系统,IBM所看到的。来源:IBM

所有这些导致Tzortatos经验认识到行业需要继续发展和优化操作系统为人工智能和推理和培训。“我不认为这将是一个全新的操作系统,”她说。“操作系统发展。他们会变得更加可组合,你可以插入这些新技术而不影响应用程序上运行的操作系统。”

现在,而不是创建一个新的操作系统,商业似乎AI /毫升将继续依赖框架,以及ONNX交换格式,它允许开发人员在几乎任何工作框架。生成的代码将会兼容大多数推理引擎。和如果一切,结果将运行在当前安装企业级操作系统,如Linux, Unix和z / OS。

同时,专门的AI /毫升硬件可能完全消除需要一个操作系统。”的一部分,一个操作系统的工作已经被做在加速器。数据中心GPU有自己的调度器和管理需要做的工作,”说Roel Wuyts,经理在imec ExaScience生活实验室。

当使用加速器,一个操作系统是一个有争议的问题,大脑首席执行官安德鲁·费尔德曼说。“你要油门的时候,你想绕过操作系统。它不会帮你与准确性。操作系统的目的是分配硬件资源,和我们的编译器。我们希望用户在一种语言,毫升世界是熟悉的,我们不希望他们曾经考虑分配的挑战,跨越850000可编程元素。因此,他们从不认为机器的。他们只写TensorFlow或PyTorch。编译器所言,我们不需要担心任何延迟或减少速度带来的一个操作系统分配硬件资源。”

在天平的另一端,单身,嵌入式设备,如智能相机,现状很好。“我们需要一个新的操作系统的机器学习人工智能在低级别?不,是常规的计算工作,”Wuyts说。“我们可以描述它,我们可以安排,我们已经这样做的很好。”

然而,当你超越单一设备到网络,分布式系统,新的方法可能是很有价值的。Wuyts提议使用一个智能相机与另一个应用程序的数据,说face-detecting安全系统在一个火车站,需要有能力放大和搜索数据库中已知的恐怖分子。这种情况让开发人员的生活非常困难,因为不同的应用程序的相互作用,设备和网络的要求。

”这种情况下,你可以看到一种新的分布式操作系统。我们已经看了看,在过去一点。如果你有一个神经网络或机器学习网络,你会尝试运行部分较小的部分设备和更多的后端,”Wuyts说。

开发人员应该免于不得不考虑分区和不同组件间的通信,他说。”相反,可以通过这个操作系统,以同样的方式,我现在写一个Windows应用程序或Unix应用程序,我有一个调度器可以照顾大多数基本分区,但让我控制如果我想做的。对于那些新类型的应用程序,现在成为大量使用,合理运行分布式机器学习应用程序。”

二次曲面的罗迪指出有一个重大区别AI /毫升操作系统的工作负载管理和多少AI /毫升将被包含在操作系统本身。“Linux内核将包括一个毫升推理图,确定任务优先级和资源分配而不是依靠确定性或启发式代码管理系统?外部工作负载管理(即相机功能的智能手机应用程序)将大重量级毫升图运行在GPU或GPNPU最好。但即使Linux内核任务管理器添加一个毫升推理组件,它不会是一个巨大的multi-TOP / s网络。相反,它会更轻,可以运行在现代应用程序的cpu运行的操作系统内核”。

罗迪指出机器学习可以加强在设备电源管理的有效性,比如学习每个用户的行为,例如,/性能调优的业务主管的手机不同于高中学生的。“但这假设的是现有的操作系统功能的增强,而不是激进的重写一个操作系统的基本功能。

结论
讨论潜在的方案来源之一是为了满足能源需求,培训可能会做,因为它是现在,在经典的操作系统,而推理可能会执行与一个较小的“操作系统”,本质上只是一个作业调度器。这也假定在一个世界里,为了节约能源输出,将会有更少依赖于云计算,和边缘设备上更直接。

另一方面,Steven Latre说imec:“我认为,预测,在未来,培训和推理是更自然的组合,而不是分开现在,我们训练一次,我们将它部署在其他地方。”也就是说,他仍然认为未来的人工智能自然会分叉。

“有两个互补的人工智能的方向发展。大规模计算的人工智能,可以与其他类型的科学计算,高性能计算类型的工作负载。与那些非常大的模型,在硬件层面上的问题是可能出现的瓶颈在通信和计算。所以主要的挑战是调度以正确的方式缓解所有不同的瓶颈,”Latre说。”更边缘的情况下,这是一个完全不同的方法,问题在哪里bottleneck-oriented较少,但更多的能量限制和延迟约束,因为他们在更多的实时情况。这可能也权证不仅仅是一个单一的操作系统,但在不同情况下不同类型的OSs的。”

讨论神经网络的可能性,Snelgrove提供精神食粮:“如果你看了冯·诺依曼的原始论文[2],它始于神经元的照片。如果我们现在在ENIAC, 1950年代。我们不应该认为它会是什么样子在2020年代,我们应该试着去1970。从那里,我们可以讨论1990。”

引用

1。Sechuga, g .防止欺诈与人工智能和IBM Telum处理器:IBM z16投资的价值
2022年IBM的博客,
https://community.ibm.com/community/user/ibmz-and-linuxone/blogs/gregory-sechuga/2022/07/05/preventing-fraud-with-ai-and-ibm-telum-processor

2。冯·诺依曼,j . EDVAC报告的初稿,美国陆军军械部门之间的合同和宾夕法尼亚大学,6/30/1955。
https://web.archive.org/web/20130314123032/http: / /qss.stanford.edu/ ~ godfrey / vonNeumann / vnedvac.pdf