教学电脑看到

视觉处理新兴技术为基础的高速发展应用,引发一波密集研究减少功率,提高性能,并推动嵌入式视觉成为主流利用规模经济。

什么开始作为一个相对温和的开发工作已经变成了全面争夺的一块市场,并有充分的理由。市场和市场估计这个市场将在2020年达到125亿美元,高于80.8亿年的2015美元。

视觉处理出现在从自动汽车到机器人技术,基本和底层技术从增强现实技术的虚拟现实和计算机视觉组合安全和监控录像分析,医学成像,和先进的摄影。视觉处理已经改变了图像捕获的先进技术在智能手机真正惊人的在一个相对短的时间。

捕获和显示伟大的质量图像已成为重要的消费电子设备,并将继续嵌入式和渗透物联网世界,公司将开发更有趣的和视觉能力的设备,杰姆戴维斯说,手臂的家伙,在最近的一次手臂TechCon主题。

捕捉和显示图像后,下一个飞跃是在图像是如何解释的。计算机视觉——教学电脑看到将革命就击倒了沟通的障碍在数字世界和现实世界之间,他断言。一幅描绘一千字的同时,它还使用了内存的一千倍。

“更多的数据意味着更多的存储空间,”戴维斯说。“我最喜欢的统计(这一点)是持续时间之间的比例每单位时间的视频上传到YouTube。我们目前正在运行在500小时的视频每一分钟。即使有更好的压缩,一个4 k保安摄像机将填满磁盘驱动器在大约24小时,所以存储像素数据是一个问题。传输处理其他地方是更糟。我们不能带宽或权力。有太多的监控录像被创建来坐,手表,手动和解释,当然不可靠。我们能解读这些设备上的图像自动提取的意义吗?如果我们能做到这一点,我们可以大大减少数据的大小。”

视觉数据分析一般基于人类的大脑是如何工作的,这使得它难以复制和模型在计算机上。这是一个不小的任务。直到2012年与AlexNet,电脑变得比人类识别图像和识别正确的内容。

计算机视觉中最稳定的部分是特征识别,现在占主导地位的方法进行特征识别与神经网络,指出,首席技术官超音速。“团队AlexNet抽走20年的结果在2012年ImageNet基准套件使用神经网络。他们看起来像一个阶跃函数在改善识别中,和每个人都赢得了比赛因为每年都使用神经网络。所以显然有一些显著的优势为目标,准确。”

这导致brain-inspired的曲径,或神经形态,计算和研究正在找出接近大脑是最好的。

一般来说,所做的数学运算,利用大规模并行性,低精度运算,和高连通性,“Wingard说。“这三个关键方面的架构。他们不需要额外的疯狂的好处是传统的编程,这是可怕的和令人兴奋的部分。这使得它几乎不可能去预测系统需要做多大一个给定的工作。这是困难的,对吗?你最终运行这些野生模拟,试图找出有多少个节点是必要的。如果三分之一的节点带走,识别降低多少?”

学习过程是被热议,,包括卷积的层数和各层的功能。”,但什么是反复出现的能源效益和性能优势几乎倒相设计,这样的模式被公认的存储接近的单位做计算。如果你不小心,你最终得到的这些大规模数据并行处理数组被饿死,因为他们不能得到足够的内存带宽。它总是令人兴奋的,当人们谈论反思平衡和你思考如何存储和处理的体系结构。你不能想想这两个没有考虑I / O的部分,,因为他们相互交谈,他们是高度连接。与此同时,他们都是大型稀疏。”

对于大多数的网络来说,理想的模型是完全连接。“当你看自然可以想象一切都是连接到一切,”他补充道。“但是如果你看多少注意给定神经元支付所有的输入,它关注很少。这是稀疏的由来。您可以安全地忽略大部分的连接。所以你应该建造它们吗?这是野生的部分,因为它的学习过程中你发现连接是必要的。因此,除非您想要构建一个芯片完全专业的一组模式——大多数人不想做的事情——你最终想要一个抽象的系统看起来完全连接但不需要,所以没有建立,足够的资源完全连接。”

所需的灵活性
增加的复杂性是视觉处理需要大量的计算。

“你把从图像视频能够智能地识别视频,”兰迪·艾伦说,高级研究主任导师图形。“这些是一个大量的计算能力。你已经收集了大量数据,所以大量的处理。根据定义,至少这样,它需要并行处理。与视频不同,不同成像之类的东西,没有一种算法,可以发现转身说“是”或“否”准确率达到了100%,这是一个行人,这是一辆自行车,之类的。人类不能做的准确率达到了100%,这是一个你需要的灵活性。你笨手笨脚的弄清楚您想要使用的算法,所以它需要的灵活性。不是你要设计一个ASIC第一次因为你会想出来的。”

这需要大量的计算能力,但它也需要并行,因为需要保护的权力。“限制你很多东西,”艾伦说。“你最终会用大部分的时间与一个GPUFPGA协助,因为提供了并行性。两者之间的权衡。你在一个更好的价格通常会得到更多的权力,它肯定是更容易GPU端的程序。FPGA上的优势是你得到确定的类型的东西。”

更糟的是,计算机视觉硬件还需要兼容不同的行业。“我们有汽车的挑战,你可能有能力,但显然这些处理器发挥作用在机器人和无人驾驶飞机,和有需求的力量和他们能消费多少,“阿明喀什说,主任ADAS和自动驾驶导师图形。“挑战是有适合在所有这些不同的行业,这使它更加困难。在汽车方面,我们正在处理大量数据,我们有多个流的视频,很明显我们将有其他类型的信息传感器与视觉信息融合。带来需求的严格计算和权力方面,这使得它更加困难。”

层的复杂性
这是难以算出,但在汽车世界来自摄像机的数据,是计算机视觉的基础往往是结合数据从其他功能。

“更高级的系统将做两件事中的一件,或者有时候,”库尔特·舒勒说,负责营销的副总裁Arteris。“首先,他们将电话服务器的某个地方,他们会得到一个更新的模型。他们会根据其他车辆看到更新信息,所以当你进入加拿大它知道这些都是加拿大的路牌,没有美国的路牌。但即使你不已经在数据库中,你的车将认为这是奇怪的,然后爆炸回到其他车辆。事实上,甚至还有讨论的一些国家标准,所以每辆车都可以共享这些信息。其次,它并不总是计算机视觉,所以很多这些机器有一些类似于军用飞机是什么(即。传感器融合)。你要输入什么东西和概率估计是基于视觉计算的东西。你也有一个激光雷达。为远程的东西有雷达、短范围的东西有声纳,和导航系统,所以,当这车是沿着街道创建一个3 d模型的所有东西在它前面。但在这些系统中,不仅视力,这是一个增加的复杂性。 But it can be necessary. If you’re in a snowstorm, vision by itself isn’t going see through snow or fog like other sensors can.”

从技术上讲,我们所需要的视觉处理器是双重的,解释了戈登•库珀嵌入式视觉处理器的产品营销经理Synopsys对此。“首先,异构处理内容,很多嵌入式视觉处理器因为你需要大量的繁殖,这是非常DSP-like。但是你也需要大量的并行的繁殖,这更多的是一种矢量DSP,不是很多。模拟设备和TI都被优化为音频和演讲能力。不是优化了强烈的并行处理,也许10或20的事情在同一时间。你做这些大规模计算愿景,因为现在不是一个音频流。这是一个2 d图像,这可能是每秒30帧。危机是大量的数据,和大量的并行性。有强烈的数学方面,当然你还有计算控制方面,你必须弄清楚如何处理这些数据。我跟踪对象在屏幕上。 What am I going to do about that? It’s both pieces —- heterogeneous processing includes control and a lot of vector DSP-type of math.”

有两个方面,他指出。”有很多工作是由世界像facebook的使用这些视觉算法和深度学习,试图整理所有人将这些图片,报价,并找出如果一幅特定的情绪或特定的脸。所有完成服务器,可能通过gpu。现在,GPU将消耗大量的电力。这将是一个大死。它有能力,也许不是那么有效的作为一个完全定制的视觉解决方案,但你得到一个现成的,大服务器机架的这些东西,他们可以通过东西曲柄。但如果你想把这个玩具机器人,权力是关键,模具尺寸是至关重要的,但你仍然需要处理的性能做所有的2 d图像和流视频。有效地这样做,你真的要调整应用程序。”

从性能、电力和区域(PPA)的角度来看,嵌入式视觉处理器的一个原因是如此擅长低功率是因为他们进行了优化不做所有其他的事情像GPU,真正为图形设计。“你可以用一个GPU,但是它们体形大、权力饥渴,”库珀说。“你可以在一个FPGA。其中一些DSP片+他们的织物,这是好也许体积小和原型,但他们很快得到昂贵的如果你要做任何事情在高容量,比如添加视觉玩具。你可以用DSP,但音频和语音的DSP更优化,和没有远见的性能需要。当然,CPU和大不优化。因此,如果你正在做什么在高体积-汽车,或监控摄像头,或者消费者或零售应用程序——这是当一个专用的嵌入式视觉处理器真的是有意义的。”

营销总监丹尼斯·克雷斯波、视觉和成像IP节奏同意:“在架构上,基本的工程团队为什么会选择使用视觉处理器CPU与GPU或相同或更多的性能。设计实现,平均5到50 x功率降低相同的应用程序。”

“我可以谈一个小时在所有小事情我们做在我们的指令集,在我们的硬件管道,在我们的并行性,以实现这一目标。基本上,我们可以做同样的操作,GPU可以做一千年周期在两个周期。这就是因为我们调整指令集的应用程序。我们有一个指令集调谐的愿景和成像。因此,我们不擅长做普通Android电话,我们不善于做3 d图形。”

基本上,设计视觉处理器的第一个挑战是了解在SoC硬件连接,以及如何利用。然后,在软件方面,DSP访问如何?在软件堆栈在何种水平?只是在较低的水平,说,制造商的SoC写自己的软件和生产函数,称为DSP上运行的本地?或者是暴露在更高层次,应用程序开发人员可以使用它,或者从外部应用程序开发人员。这是另一个考虑在这个过程中,克雷斯波说。

可以肯定的是,计算机视觉是复杂的。但考虑到众多机会应用技术使世界更安全、更健康,努力似乎占据。

第二部分将研究技术、EDA工具的需求,以及软件设计中考虑计算机视觉处理器。

有关的故事
看到的未来愿景
自动驾驶汽车和其它使用要求更复杂的视觉系统。
解码大脑
将如何解码果蝇的大脑帮助我们建立更好的电脑吗?卢雅伯说,我们还有很长的路要走电子赶上图像识别。
神经网络计算爆炸
资金雄厚的公司开始定制这种方法为特定_花大量的钱收购初创公司。
重新考虑传感器
作为数据采集变得越来越普遍,还有什么可以用这种技术?
嵌入式视觉变得无处不在
神经网络有推动嵌入式视觉,它们可以被纳入低成本和低功耗设备。
五个问题:杰夫棺材
嵌入式视觉联盟的创始人兼总裁BDTI谈到的创建联盟和神经网络的出现。
卷积神经网络电力
采用机器学习方法的图像识别的生长;其他应用程序需要力量和性能改进。