中文 英语
系统与设计
的意见

交叉谱视频处理

配对温度传感器数据的可见光谱相机非接触式体温筛查。

受欢迎程度

在免疫接种疫苗是推出一个令人印象深刻的速度,并随着社会慢慢重开,我们最好的防御冠状病毒仍是早期发现和快速反应(隔离等时期)。

早期症状的病毒增加体温,可以轻松地使用非接触式测量方法,如热传感器或相机对红外辐射敏感。

然而,通用摄像机还有一个作用——在增加,投入更好的背景下热数据。

想象两个摄像头,一个红外和一个标准,观察入口的地方工作或室内公共场所。如果图像通过标准的摄像头捕捉提要与人脸检测软件系统,然后热图像可以更有意义:是的,热源是人类的脸。

搭配热和标准的核心光学图像可以很大程度上自动检测COVID-19-infected人人类温度筛选的过程。

那么,你如何着手配对两张图片吗?

作为供应商Zynq MPSoC基于嵌入式的原型板,Aldec已经上升到所面临的挑战与我们全新的基于ai热视觉相机演示应用程序。

它利用了I / O扩展灵活性TySOM-3-ZU7EV板,支持不同的传感器接口以及高性能UltraScale + FPGA织物已被证明在卷积神经网络(CNN)加速度和传感器融合任务在边缘。

演示应用程序运行时如图1所示。


图1:演示应用程序的运行时。

演示应用程序流

演示应用程序的主要想法是创建一个红外传感器数据的可视化表示,定位人脸的位置使用一个标准的相机图像流处理CNN-based人脸检测算法和计算的体温。为了达到最佳的视觉效果,视频流都是合并。

成像系统中使用的项目有:

  • 红外成像仪从Melexis: MLX90640 55度视场镜头。它被选为主要的红外成像仪的负担得起的价格,公平的32×24图像传感器阵列,满意的帧率,易于编程接口和工厂校准;
  • CMOS成像:BlueEagle与55度视场相机镜头从第一传感器提供明确1280×(电子邮件保护)ADAS-class HDR图像和与红外成像仪共享同一视场。

项目的顶层视图如图2所示。


图2:演示应用程序概述。

软件实现

这样做是使用GStreamer Linux媒体框架见图3。

标准框架插件被标记为橙色和定制软件如mlx-grabber和sdxfacedetect用蓝色标记。整个软件流程分成三个独立的GStreamer管道(IR流,BlueEagle相机流和传奇)产生独立的24位BGR视频数据流,然后合并到常见的HDMI输出图像使用视频混合器。

HDMI视频混合器是一个艰难的IP块常用的视频输出接口几个视频数据流合并成一个,然后传递给一个视频输出设备。它配置了四个单独的叠加BGR层(飞机29-32),三个用于组合最终为一个HDMI视频监控。


图3:GStreamer管道。

红外流主要是基于一个mlx-grabber应用程序,将红外32×24数组通过i2c总线MLX90640红外传感器的数据,计算出768年绝对温度的值数组元素,然后创建一个与蓝/绿/红三色的热图温度数据颜色表示。

热图的温度灵敏度范围设置为28 - 38oC,因此正常人体温度将以绿色显示,切换到红色表明高温。在大多数情况下背景是蓝色的。

由此产生的热图图像流了1280×720匹配本地BlueEagle相机像素的分辨率。

相机流执行人脸检测CNN模型推理BlueEagle相机输入图像,定位人脸的位置,把边框共享同一颜色与红外热图流动。CNN人脸检测算法的加速PL的一部分Zynq MPSoC芯片使用深度学习处理单元(DPU) IP和Xilinx DNNDK推理工具包。

结论

红外传感器非接触式人体温度测量是非常有用的,在我们对抗COVID-19,即使偶尔resistant-to-vaccines变异。此外,成对的光学和热成像,主要作用在很大程度上自动疾病的预测筛查系统对抗所有病毒(过去、现在和未来)的早期症状是体温。

在我们的演示了如何结合热传感器数据可见光谱相机拍摄的图像和基于计算机视觉算法如何自动化和显著提高整体温度筛选过程。

这也是伟大的展示我们的紧凑的力量TySOM-3-ZU7EV板成型板以其Zynq UltraScale + MPSoC设备,它提供了64位处理器可伸缩性与软、硬结合实时控制时引擎图形、视频、波形和包处理。



留下一个回复


(注意:这个名字会显示公开)

Baidu