深度学习的进化ADAS的应用程序

嵌入式视觉解决方案将使汽车完全自治的关键驱动因素。给一辆汽车的眼睛,多个摄像头和图像传感器的形式——是第一步,但它也将是至关重要的汽车从这些图片和解释内容做出相应的反应。为此,嵌入式视觉处理器必须硬件优化性能,同时实现低功耗和小面积,有效项目硬件工具,这些处理器上运行算法。

过去在汽车安全方面的巨大改善(例如,不易破碎的玻璃,三点安全带、安全气囊),被动安全措施旨在减少损失在一场事故。我们现在有技术,可以积极地帮助司机避免崩溃的。高级驾驶员辅助系统(ADAS)将有助于自主汽车成为现实。盲点检测可以提醒司机为他或她试图进入一个被占领的车道。车道偏离警告和车道保持援助提醒司机如果汽车漂移以外的车道,积极将车驶回自己的车道。行人检测通知司机,行人在前面或后面的汽车和自动紧急制动刹车,避免了一次事故或适用于行人受伤。作为ADAS特性相结合,我们接近自主汽车通过高性能的视觉处理。

汽车制造商包括更多的相机在他们的车里,如图1所示。前置摄像头可以检测到行人或其他障碍,有了合适的算法,帮助司机刹车。后置摄像头,强制在美国大多数新车从2018年开始,可以拯救生命,提醒司机对象后面的车,司机的视野。一个摄像头在汽车驾驶舱面临分心驾驶的司机可以识别和预警。以及最近添加四到六个额外的摄像机可以提供360度视图的车。

图1:摄像头,通过高性能视觉处理器,可以“看见”如果对象不在预期的地方

视觉处理器对象检测
因为司机已经朝前,前置摄像头似乎是不必要的。所以,有价值的,前置摄像头必须始终高于司机障碍检测和报警。虽然ADAS系统可以比驾驶员身体反应更快,它需要嵌入式视觉提供实时视频流的分析,知道如何应对。

视觉处理器是基于异构处理单元。这意味着编程任务分为处理单元与不同的优势(图2)。大部分的代码将使用C或c++编写传统的32位标量处理器,它提供了一个易于编程处理器。向量DSP单元将执行大部分的计算,因为它是非常大的指令字可以处理大量的并行计算像素处理每个传入的图像。

图2:视觉处理器是基于异构处理单元,包括标量和很长的指令字(VLIW)向量DSP单元

检测一个行人前面的一辆车是一个广泛的“对象类的一部分检测。“为每一个对象被探测到,传统的计算机视觉算法都是手工制作的。算法用于检测的例子包括Viola-Jones以及最近的梯度(猪)的柱状图。猪算法的边缘方向在一个图像来描述对象。猪被认为是先进的行人检测直到2014年。

检测出现深度学习的对象
尽管神经网络的概念,计算机系统模仿大脑,已经存在了很长时间,直到最近,半导体实现处理器性能使他们一个实际的现实。在2012年,一个卷积神经网络(CNN)的竞争进入年度ImageNet准确地显示一个明显改善图像分类的任务在传统的计算机视觉算法。由于改进的精度,使用神经网络技术进行图像分类、检测和识别已经蓄势待发。

深层神经网络的重要突破,对象检测不再必须手工编码的运动。深层神经网络允许从培训中学到自动功能的例子。一个神经网络被认为是“深”,如果它有一个输入和输出层和至少一个隐藏的中间层。每个节点计算的加权输入多个节点的上一层。cnn是当前先进的高效实现深层神经网络为愿景。cnn更有效,因为他们重用很多权重的形象。

早期的cnn在嵌入空间使用GPU执行或使用向量DSP视觉处理器的一部分。然而,最好看看任务执行的三种不同的异构处理单元,如图3所示。

图3:添加一个CNN引擎嵌入式视觉处理器使系统通过培训学习

早期实现硬件有一个数量有限的cnn Multiply-Accumulator (MAC)单位。例如,Synopsys对此EV5x,行业首个可编程和可配置的视觉处理器IP核实现与64年CNN引擎mac。运行在500 MHz, EV5x可以生产32 gmac / s或64共和党/ s的性能(multiply-accumulator执行两个操作在一个指令)。这不是足够的性能来处理整个1议员(1280 x 1024)框架或形象。然而,它是足够的处理能力来执行一个CNN的一部分图像(比方说一块64×64像素)。整个图像处理,行人检测需要一个两步过程。向量DSP将执行计算密集型感兴趣的区域(ROI)算法在每个传入的视频流的图像。ROI识别候选人使用滑动窗口方法可以一个行人的(例如,排除部分天空)。那些“行人”补丁然后由CNN处理,以确定是否实际上是一个行人。CNN-based行人检测解决方案已被证明有更好的精度比算法如猪,也许更重要的是更容易重新培训一个CNN寻找一辆自行车要比编写一个新的手工算法来检测一辆自行车而不是一个行人。

较大的cnn对整个框架对象检测
随着嵌入式cnn变得更加强大,他们不再是局限于处理补丁传入的图像。EV6x Synopsys对此最新的视觉处理器,包括CNN引擎880 mac -一个显著的性能飞跃比其前任。运行在800 mhz,这会产生(880 x。8) = 704通用汽车金融服务公司(gmac) / s约1400共和党/ s。,性能已经足够使用CNN过程整个1像素的图像。向量DSP为预处理的图像仍然是有价值的(例如,重新格式化和成金字塔形状)和执行后处理任务non-maximum抑制(NMS)。如图4所示,EV6x还有标量,矢量和CNN单位进行异构处理。它还与多核设计特性使它很容易扩展到多个视觉核心。

图4:DesignWare EV6x嵌入式视觉处理器包括标量、向量和CNN预处理和后期处理的处理单元

处理整个图像帧的好处是,CNN可以被训练来检测多个对象。现在,而不是寻找一个行人,CNN图可以训练找到自行车,其他汽车、卡车等。这样做像猪需要手工制作一个算法该算法为每个新对象类型。

培训和部署有线电视新闻网
如前所述,CNN没有编程。这是训练有素的。深度学习框架,如咖啡或TensorFlow,将使用大型数据集的图像训练CNN图-炼油系数可以通过多次迭代来检测图像中特定的功能。图5显示了CNN的关键组件图训练,在训练阶段的gpu在云中使用银行大量的加工要求。

图5:组件图所需的培训

部署——或“推理”——阶段是在嵌入式系统上执行。开发工具,如Synopsys对此MetaWare EV工具包,以32位浮点系数权重或输出训练阶段和规模定点格式。目的是用最小的一些决议仍然产生等效精度比32位浮点输出。更少的比特在multiply-accumulator意味着更少的电力需要计算CNN和较小的死区(导致降低成本)嵌入式解决方案。基于Synopsys对此计算,10位或更高分辨率需要保证相同的32位咖啡输出精度没有图再培训。

MetaWare EV工具以重量和图拓扑(卷积的结构、非线性、池、和完全连接层中存在的CNN图)并将它们映射到硬件专用CNN引擎。如果没有特殊的图形层,CNN现在“编程”检测的对象被训练来检测。

规模小,CNN引擎等关键的CNN特性的优化执行3×3和5×5矩阵倍数,但不优化,它变成了一个硬连接的解决方案。是很重要的可编程保持灵活性。作为cnn继续发展——比如新的层技术或池方法向量DSP可以在视觉处理的另一个重要的角色。由于向量DSP和CNN Synopsys对此EV6x引擎是紧密耦合的,很容易调度任务从CNN向量DSP。OpenVX运行时,纳入MetaWare电动工具,确保这些任务计划与其他向量DSP处理需求。向量DSP不会过时的CNN引擎。

图6显示了输入和输出的嵌入式视觉处理器。汽车的流媒体图像的相机被送入CNN引擎预配置图和权重。CNN是一个分类的输出图像的内容。

图6:输入和输出的嵌入式视觉处理器

场景分割和导航
到目前为止,我们已经讨论了行人的对象分类(或自行车或汽车或卡车),可用于避碰——一个ADAS的例子。cnn和足够高的性能还可用于场景分割,图像中的所有像素的识别。场景分割的目标是减少关于识别特定像素比识别类型的场景中物体之间的界限。知道路在哪里比其他场景中的对象提供了一个很好的好处汽车导航和带给我们更近一步自主车辆。

图7:场景分割识别类型的对象之间的界限

一个场景分割的例子,运行在DesignWare EV61 CNN,分段流图像使用11个类别的对象(路,天空,建筑,行人、等等)。五频道的1920×1080图像作为输入,CNN,运行在800 mhz,达到18 fps。场景分割为cnn是困难的,没有能力来处理整个图像的多个实例(帧)。

未来视觉处理器在汽车视觉要求
处理解决方案需要规模未来要求呼吁更多的处理性能。1像素的图像是一个合理的解决现有摄像头在汽车。然而,更多的相机被添加到汽车和需求增长从1 mp 3议员甚至8 mp摄像头。相机的分辨率越大,越远的对象可以被检测出来。只是有部分分析可以确定一个对象,例如一个行人,。相机的帧频(FPS)也很重要。帧率越高,越低延迟和停车距离越大。为1像素的RGB相机运行15 FPS,那将是1280×1024像素坐标系乘以15帧/秒/三种颜色约59 m字节/秒来处理。一个8 mp图像30 fps需要3264×2448像素/帧乘以30帧/秒三种颜色或约720字节/秒。

这额外的处理性能不能有一个不成比例的上升力量或死区。汽车是消费品,持续的价格压力。低功率是非常重要的。视觉处理器架构必须尽可能优化的能力,但仍保留可编程性。

结论
作为ADAS的需求在汽车应用中继续增长,嵌入式视觉和深度学习技术将跟上。对象检测已经从小规模的识别与每个像素占全场景,和灵活性将继续是一样重要的性能,权力和区域。Synopsys对此“DesignWare EV6x嵌入式视觉处理器完全可编程来解决新的图形随着它们的发展,并提供高性能和高效的力量在一个小区域。