人工智能增强的视觉处理和图像传感器正在为图像系统处理提供强大的构建模块。
在图像传感器和新型传感器的巨大改进的推动下，视觉系统正在迅速普及。
虽然传感器本身通常使用成熟节点硅开发，但它越来越多地连接到在最先进的工艺节点上开发的视觉处理器。这可以实现最高的每瓦性能，还可以在设计中使用AI预训练的模型来结合AI加速器，同时仍然足够小，足够酷，可以用于AR/VR耳机、手机和汽车舱内传感，在这些地方，多个摄像头经常一起工作。
“十年前，没有针对计算机视觉的广泛可用的处理器。如今，已经有几十家了，”嵌入式视觉峰会主席、Edge AI和视觉联盟创始人、BDTI总裁杰夫·比尔(Jeff Bier)说。“这很重要，因为计算机视觉算法非常适合使用并行处理进行加速。因此，集成了专用架构的处理器可以轻松实现比通用处理器高100倍的性能和效率。处理器效率的巨大提升使得在成千上万的新应用中部署计算机视觉成为可能。”
在过去，所有这些都必须从零开始开发。但是这些系统正在成熟。如今，半导体和人工智能公司正在提供具有预先建立的视觉处理模型和训练过的数据集的平台，开发人员可以将其用作新系统的基础。这在医学领域是显而易见的，例如，计算机视觉被用来帮助放射科医生解释x射线。
“人工智能的出现使人们能够理解图像，并能够开始减轻放射科医生等人的负担，使他们更有效率，”该公司高级营销总监山姆·富勒(Sam Fuller)说Flex Logix．“在算法开发领域还有很多工作要做，并将其转化为产品。”
公司创始人兼首席执行官Ashraf Takla表示:“AI/ML和边缘计算的采用正在获得发展势头，以最大限度地减少视频数据传输量，从而降低功耗，提高系统效率。Mixel．
更小、更智能、更高效的相机随处可见。视觉系统的应用范围从手机摄像头到工业自动化、汽车、医疗、安全、监控、无人机、机器人、AR/VR等等。对于所有的用例，视觉和图像系统组件的需求是健康的。
视觉处理半导体市场分为视觉处理器和图像信号处理器(ISP)。两者的复合年增长率都是预计为7%据魔多情报机构报道。亚太地区需求量最大，其次是北美和欧洲。意法半导体(STMicroelectronics)、德州仪器(Texas Instruments)、西格玛公司(Sigma Corp.)、半导体元件工业公司(Semiconductor Components Industries)和富士通(Fujitsu)是市场上规模较大的半导体公司，但视觉处理市场上也有很多新老公司。Flex Logix, Ambarella, SiMa。人工智能,Hailo。ai和Brainchip正在大步前进。一些EDA公司正在提供支持视觉和人工智能的IP。
对图像传感器的需求也是不可否认的，但由于智能手机需求的下降，CMOS的需求可能会暂时放缓，集成电路的见解预测。
图1:由于新冠肺炎在家办公需求缓解，智能手机和便携式电脑的销量大幅下降，预计CMOS图像传感器的需求将放缓。来源:集成电路的见解
与此同时，全球图像传感器市场预计从2022年到2028年将以8.43%的复合年增长率增长，到2028年将达到301.2亿美元。根据SkyQuest技术咨询公司。图像传感器市场份额排名前六的公司是索尼、三星、OmniVision、意法半导体、安森美半导体和松下。
新型图像传感器
在电子视觉系统中，图像传感器使用光学器件、像素和感光元件(光电二极管或光电门)将光转换为电信号或位元。然后，数据管道将信号传递到处理器，在处理器中，视觉处理将信号转换为数字图像。
图像传感器在传感器本身上有一层光学器件，用于聚焦光线，但根据用例，可以在顶部添加另一层更复杂的光学器件。“这意味着基本上传感器只发送原始数据，然后有一个主机处理器。例如，qualcomm类型或ambarella类型的处理器将完成所有的后端处理，转换为YUV, JPEG用于视频录制，”OmniVision Technologies物联网/新兴细分市场营销总监Devang Patel说。
两种常见的图像传感器类型，CMOS(互补金属氧化物半导体)和CCD(电荷耦合器件)将光转换成电荷并将其处理成电子信号。CCD使用高压模拟电路，并如TEL所述，它是一个像素数组，具有bucket-brigade风格，将电荷移动到顶层行，用作读出寄存器。读出寄存器然后将电荷输出到非传感器处理器。
ccd有两种类型，正面照明(FSI)和背面照明(BSI)传感器。区别在于光电二极管衬底在传感器中的位置。
OmniVision的帕特尔表示:“所有高性能传感器几乎都是BSI。
图2所示。: BSI和FSI图像传感器示意图。来源:Cmglee(个人作品，通过维基百科/CC BY-SA 4.0)
CMOS传感器的生产成本比CCD低，因为CMOS可以在现有的半导体制造设备上制造。CMOS还消耗更少的能量。CMOS图像传感器中的每个像素都有自己的光电二极管，直接输出信号。
相比之下，ccd是基于NMOS的，它们被认为比CMOS噪音小。因此，它们受到科学设备和高分辨率扫描仪的青睐。CMOS被用于大多数其他应用，因为它功耗低，价格便宜，并且总是在提高其精度或分辨率。
捕捉图像数据的基本单位是像素。为图像传感器增加更多像素是提高图像分辨率的一种方法。更小的像素意味着在提高分辨率的同时，更多的像素可以放入相同的区域。被称为像素间距，图像传感器上像素的密度正在增加。
增加像素确实会影响图像传感器的测试。“近年来，CMOS图像传感器(CIS)设备的像素数呈爆炸式增长，其结果是CIS设备的测试往往需要更长的时间，”他说效果显著的来自T2000组合的齐藤Chiezo Saito，他写过一篇关于加速图像处理以测试图像传感器的论文．
真正影响测试的是传感器的缩小。OmniVision多年来一直在生产微型两层图像传感器。“当你做得越来越小时，测试就会面临挑战，因为测试设备和硬件必须按比例进行。”
图像的消费者可以是人、计算机或机器查看器。因此，图像传感器的选择取决于最终用途和最终用户。如果一个人不是在观看图像，或者目的是检测一个特定的事件，新型的视觉传感器如事件传感器正在考虑。在弱光环境和汽车舱内监控中，事件传感器仅检测到强度的变化，并且像素会因变化而被激活。否则，不需要或收集其他图像数据。
图3。CMOS(互补金属氧化物半导体)图像传感器(CIS)将光通过像素，通过光电二极管转换为电信号输出。资料来源:TEL纳米技术博物馆
图像传感器是在200mm和300mm晶圆厂的成熟节点上制造的。一些图像和视频传感器包括图像或视频处理块。这些是soc。另一种不具有视频处理器的图像传感器称为RAW。
OmniVision的Patel表示:“就受欢迎程度而言，RAW传感器代表了全球大多数(视觉)传感器。“视频处理器是许多公司的专利——他们自己的算法、配方以及如何使用。出于这些原因，使用外部视觉处理器总是更好的。并且还可以使用高级处理节点集成更高级的图像处理算法。这几乎就是你所看到的，但市场上仍有一些SoC传感器可用。”
有时，由于其他原因，首选将图像传感器与处理元件分开。Patel说:“在汽车行业，有一些应用案例是首选将视频处理分开。“你车里的后视镜在后备箱的后面，但你是在控制台上显示视频。这是一段很长的距离。设计师更愿意使用数字输出，或者传统的模拟输出，如NTSC或PAL视频输出，这样你就可以使用长电线来显示。”
信号/图像数据通过并行和串行输出从图像传感器上移动。这似乎违反直觉，但串行输出正变得比并行更受欢迎，其中MIPI占主导地位。
“在大多数vison应用中，功率和延迟是关键参数，”Mixel的Takla说。MIPI被优化来解决这类应用，因为它最初的目标是传感器、处理器和显示器之间的视频数据通信。正因为如此，MIPI标准的发展使功耗和延迟降到最低，并解决了典型视频链接的不对称特性。我们看到人们对C-PHY的广泛兴趣，以及视频应用(主要是传感器)的加速采用。显示器方面的应用正在增长，但传感器方面却落后了。”
串行接口在视觉上胜过并行接口。“对于并行接口，如果它是8位输出或10位输出，你基本上有12行，然后还有一些其他的信号。这是传统的数据总线，在这里并行化。串行接口基本上是MIPI联盟的。他们基本上使用串行差分引脚和输出。一条线路包括两个数据对，然后你有一个时钟对，所以有四个引脚，但实际上你可以从这四个引脚输出比并行更高的吞吐量。”帕特尔说道。
并行输出有一个晶体管-晶体管逻辑(TTL)摆动，增加传输时间。帕特尔说:“当你从零电压切换到更高的电压时，无论是1.2还是1.5，信号上升和下降都需要时间。”“挑战在于你能达到的速度，但从简单的角度来看，并行是最简单的输出方式，因为行业中的大多数微控制器都有某种并行输入数据总线。你可以直接把这些连接起来。”
当涉及到高分辨率、高帧输出时，速度会提高，并行技术又不尽如人意了。“如果你想在高分辨率下输出高帧率，比如在30帧或60帧下输出4K或2K，并行端口输出如此高的帧率将是相当具有挑战性的。那将是很大的能量。你也在谈论EMI。所以这些都是通过串行接口解决的，也就是MIPI接口。”“我们看到越来越多的新微控制器也加入了MIPI接口。”
在视觉或图像信号处理器内部，处理数据的方式可能与SoC内部不同。“你将视觉作为一种传感器，这实际上是非常数据密集型的，能够获取这种信息，并确保你能捕捉到它，信息是相连的，数据从芯片的这一部分流向其他部分，所以你可以计算它，解决它，并从中学习，”Michal Siwinski说。Arteris IP的首席营销官。“视觉可能比其他类型的传感器产生更多的数据。由于我们能够很好地处理这个问题，其他的事情基本上都很简单。我们基本上在芯片基础设施上提供底层系统。”
视觉和图像信号处理器，视觉IP
一旦电信号离开图像传感器，它们在视觉处理器(VPU)或图像信号处理器(ISP)中进行处理，或两者兼而有之。
典型的计算机视觉应用程序有摄像头(带有图像传感器)。相机有一些预处理。它捕获数据帧，检测对象，跟踪识别，然后进行一些后期处理。系统设计者已经使用微处理器、CPU和图形处理器来处理图像。图形处理器是为3D和游戏图形的需要而设计的，最初在处理图像方面有一些优势。但是现在有了使用人工智能加速器处理图像的视觉处理器。人工智能仅从信号中提取必要的数据，并可编程用于图像识别，或帮助最终用户找到有意义的数据或提高其用例的图像质量。
vpu的例子有:
ISP传统上用于数码相机中，以处理为人类观看而优化的数字图像。ISP可能会提出申请白平衡滤镜，原始数据校正，镜头校正，动态范围校正，降噪，锐化，数字图像稳定，以及各种其他调整。ISP也正在适应计算机视觉应用。ISP可以是用于SoC或图像传感器本身的IC或IP核，通常与视觉处理器结合使用。ISP的一个例子是Arm的Mali-C52和Mali-C32 ISP，用于物联网设备中的实时、更高质量的图像。
视觉和图像信号处理器一起使用可以产生更高效的计算机视觉处理而不是单纯的视觉处理。
此外，EDA行业还为视觉系统提供IP，以及用于创建和测试视觉系统设计的工具。按供应商划分，应用程序包括:
对图像进行AI推理的预训练模型是一种具有成本效益的提取图像意义的方法。Flex Logix正在为视觉应用程序提供预训练的模型，这些应用程序可以执行特定的任务，如硬帽检测、车牌读取、车辆检测、无人机、PCB缺陷检测等。这些人工智能模型被称为EasyVision，它与Flex Logix的InferX人工智能边缘加速器一起工作。
富勒说:“算法已经存在，培训已经进行，但你想把它构建成一种强大且具有成本效益的东西。”“这就是这种服务非常有意义的地方，因为科学开发，转化为工程产品，是一个仍然需要完成的过程，也是我们真正专注于帮助客户完成的事情。”
边缘视觉处理
虽然图像传感器可能不会内置到边缘处理器中，反之亦然，但图像传感器正在与新的处理器和SoC组合配对，使用边缘AI进行图像处理。如前所述，Flex Logix是致力于解决人工智能边缘图像处理功能的初创公司之一。其他人是司马氏。ai，利用Synopsys公司的技术开发了MLSoC(片上机器学习系统)计算机视觉平台。DesignWare ARC嵌入式视觉处理器和手臂的计算IP．其他致力于视觉边缘人工智能的初创公司包括Ambarella、Brainchip和Hailo。艾，还有其他。
带有AI的视觉边缘设备的一个例子是Au-Zone的微型AR/VR摄像机，是NXP的i.m mx RT1064 MCU -基于Arm Cortex-M7视觉-运行频率高达600 MHz。Au-Zone的相机也是为物联网而设计的。NXP的i.m mx RT1064 MCU是NXP用于物联网和边缘AI的RT Crossover系列的一部分，其中包括音频和视觉应用。
但最终的优势仍然是增强现实/虚拟现实(AR/VR)。在经过20多年的研发之后，这个市场才刚刚开始进入消费电子行业的雷达，这在很大程度上是因为它们使用的芯片速度快，功耗低得多，价格也开始变得有吸引力。
小型化、乘法
相机及其集成电路正变得越来越小、越来越复杂，图像传感器获得了多层。其中一个驱动力是眼镜或头戴式设备中的AR/VR，例如，需要多个微型摄像头来聚焦人类互动的特定方面。可能需要一个单独的相机来聚焦一个人的嘴唇、眼睛和手势。
随着AR/VR技术的发展，眼镜边框将需要多个摄像头。OmniVision的帕特尔表示:“性能和尺寸的需求非常重要。“我们正在对我们的全球快门图像传感器进行采样，称为OG0TB，它使用三层叠加。”
图4:OmniVision的三层图像传感器OG0TB，除像素晶片外，还具有模拟、逻辑、ADC、MIPI/CPHY。来源:OmniVision
OmniVision公司的帕特尔表示:“通过三层叠加，我们可以制造出尺寸为1.6 x 1.6mm的摄像头，而这个压缩器的尺寸可以让你把它们放在下一代AR/VR设备中。”在未来，这些层可能使传感器避免传输不需要的数据。“长期愿景是我们经历层层叠加的原因之一。你可以想象，在未来，我们可以把一些区块，CNN网络，或其他一些数字功能，你需要把所有的原始数据发送给他们。但如果目的只是为了追踪你的眼睛，为什么要发送所有的原始数据呢?相反，只发送x,y坐标。如果你在传感器本身上有这个处理模块，我们能够实现这一目标，它将有助于利用主机上的带宽，因为你可以想象有多少摄像头在争夺接口。”
处理来自多摄像头数据的人工智能正在被设计成芯片。瑞萨刚刚在其RZ/V系列中推出了一款支持AI的微处理器，可以对来自多个摄像头的图像数据进行AI处理，以提高视觉AI应用(如配备AI的网关、视频服务器、安检门、POS终端和机械臂)的图像识别精度。
在更大的系统中，如汽车、无人机、机器人，多摄像头和视觉系统是常态，尽管它们并不总是微型的。“通常有不止一种视觉系统。通常情况下，你需要通过一系列摄像头等设备提供数据，”Arteris IP的高级技术营销经理Paul Graykowski在接受采访时表示。“你必须确保你有足够的带宽和延迟来处理这些问题。”
如果无人机自主飞行，它使用摄像头作为视觉传感器以避开障碍物。“如果它在飞行，不能足够快地处理数据，然后砰的一声，它就会撞到树上。我们必须确保在数据路径中有紧密耦合，以确保我们向这些处理器提供数据。”“我们显然也不希望他们无所事事。这是你在视觉中处理的关键事情之一——优化性能以及时获得数据，这样你就可以对这些数据进行机器学习，然后做出相应的反应。无论是ADAS，无人机，机器人，在任何类型的视觉系统中，获得几乎实时是非常重要的。”
反应尽可能接近实时是系统的理想和意图。
Graykowski说:“它能够优化国家石油公司的配置，并具有灵活性，可以指定‘我必须将数据从A点移动到B点，它必须在这个时间内到达那里’，以及所有这些服务质量参数，以确保实现这一目标。”
实时性并不总是必需的。有时让系统“思考”是可以的。系统设计师需要知道哪些数据需要感知，哪些数据需要通过AI加速器移动，哪些数据需要通过cpu进行处理以做出响应，所有这些都是近乎实时的。自主无人机就是一个很好的例子。无人机可能需要一段时间来改变路线，因为它会考虑各种可能性。不过，空中的无人机可能不会像地面上的汽车那样面临直接的危险，汽车在ADAS系统中实时运行以避免碰撞。
“视觉有来自多个来源的大量数据。它基本上是从所有这些来源获取数据，并将其快速传输到处理单元或人工智能单元，以便它们对其进行分析。”格雷科夫斯基说道。“一旦他们进行了分析并确定了发生了什么，就会将其传递给CPU来进行一些思考，‘嘿，这就是我们将如何应对它。“你需要一个非常快速的数据链来及时移动数据，因为大多数视觉系统都是实时对事物做出反应的。这是围绕视觉进行优化的关键——及时移动数据。显然，面积、功率和性能总是需要考虑的因素，但现实是，在这种类型的事情上，你必须确保你设计的NoC不会饿死你的AI引擎，这样它们才能进行所需的计算。”
结论
图像传感器越来越小，像素和层次越来越多，而视觉处理soc现在设计有AI加速器和边缘AI处理。摄像头最终无处不在，而且更小、更智能、更高效。视觉系统的应用范围从手机摄像头到工业自动化、汽车、医疗、安防等等。
但是，了解查看者是计算机、机器还是人，在系统设计中会产生很大的不同，在系统设计中可以丢弃额外的数据。此外，传感器和AI、ML视觉处理的新选择将帮助团队进行更精简的视觉系统设计，并获得更多更高质量的图像。
相关故事:
缩放CMOS图像传感器
随着相机变得越来越复杂，制造问题也越来越多。
图像传感器设备中的空间斑点检测
一种用于评估常见图像传感器缺陷的混合统计模型。
|
|
|
|
|
|
|
|
留下回复