发展与fpga的4 k视频项目

实现更高的分辨率是一个永无止境的角逐相机,电视和显示器制造商。后出现的4 k超高定义(超HD)成像在市场上,它成为当今多媒体产品的主要标准。4 k超高清带给我们更大的屏幕提供一个身临其境的感觉。有了这个标准,大屏幕的像素化问题解决了。4 k消费者无处不在,从生活体育广播视频会议在我们的移动设备。然而,许多技术挑战在开发系统过程中4 k超高清分辨率的数据。作为一个例子,一个4 k帧大小是3840 x 2160像素读取(8.5 m像素),60赫兹,刷新将读取到500 m像素/秒。这需要一个高性能的系统实时处理4 k帧。另一个瓶颈是能耗尤其是嵌入式设备,动力是至关重要的。在低功耗高性能,fpga显示强大的潜力来应对这些挑战。 In this blog, you’ll learn all you need to know to start developing a 4K video conferencing project using FPGAs.

fpga是正确的选择为4 k超高清图像/视频处理吗?

由于大量的数据和计算密集型算法在4 k超高清图像/视频应用程序中,有四个主要候选人处理技术:CPU、GPU, ASIC或FPGA。其中,最后被证明是越来越受欢迎。

fpga实现高性能、低延迟、低功率和可重构。这些嵌入式系统最重要的要求是负责图像/视频处理。

现在让我们讨论为什么fpga 4 k的最佳选择是超高清图像或视频处理简单;如果你想要一个更详细的解释,我强烈建议你给早期的博客写道,“FPGA vs GPU为机器学习应用程序:哪一个是更好吗?”,阅读。fpga可以很容易地支持大规模并行性,由于大量的I / O引脚和纯硬件设计任何模块的灵活性。这是一个优于CPU。另一方面,低功耗和低延迟,这来自没有被绑定到一个预先构建的体系结构,在gpu获胜。最后,FPGA重构性意味着更快的上市时间,降低整体成本相比,一个ASIC。FPGA的I / Os是高度可配置的。您可以配置任何方向,电压,转换速度、速度和终止妊娠。这种重构性也让我们任何时候我们需要优化图像处理算法。

现在我们知道为什么fpga优越,让我们看看一个例子设计为4 k超高清视频会议使用fpga。

4 k视频会议解决方案使用Zynq FPGA

Aldec TySOM产品线包括Xilinx zynq - 7000和美国+ MPSoC fpga嵌入式开发板和融合的女儿卡。

对于这个项目,我们已经使用TySOM-3-ZU7EV设备包括XCZU7EV设备。董事会有一个广泛的外围设备,包括HDMI 2.0 /, QSFP +显示端口,以太网,USB 3.0——这使这个板适合4 k超高清视频会议项目。此外,ZU7EV设备包括一个H / H。265视频编解码器的单元(联邦),可以执行实时视频压缩和解压缩4 k @ 60 hz的视频。

使用Zynq装置的主要优势是使用硬多核心的ARM处理器的灵活性与可编程逻辑。计算密集型应用如视频处理、沉重的算法可以卸载到FPGA的加速度。

在下一节中,我们在两个不同的解决方案如图1所示:

• 4 k超高清视频会议使用QSFP +(无损的原始图像数据)
• 4 k超高清视频会议通过编码图像数据(通过以太网TCP / IP传输、视频编解码器单元——联邦编码/解码)

图1:Aldec 4 k UltraHD成像解决方案

4 k超高清视频会议使用QSFP +(无损的原始图像数据)

在这个项目中,QSFP +连接器使用TySOM-3-ZU7EV董事会。这个项目的主要目的是演示4 k的转移成像不压缩的高速/高带宽,低延迟QSFP +接口。数据传输是通过使用极光协议Xilinx高速串行点对点的链接。没有任何编码/解码,合成带宽2160 p 60 hz刷新率大约1 GB / s,这是无法达到广泛应用1 gbit以太网。

如图2所示,4 k的视频捕获使用MIPI 4 k处理相机和MIPI CSI-2 Zynq的可编程逻辑设备。DDR4内存中的数据将缓冲PS,然后传递到极光TX党卫军在FPGA IP。通过QSFP +有线数据将被转移到第二个板,将收到一个极光RX党卫军在FPGA IP。它将存储到DDR4内存的PS,然后显示在4 k HDMI屏幕使用HDMI 2.0 TX党卫军IP放置在FPGA。相同的过程完成的第二个板第一板完成4 k视频会议。

图2:Aldec 4 k UltraHD实时视频处理的解决方案使用QSFP + TySOM板上的高速数据传输

这个项目是由Aldec使用Linux的形式GUI-less命令行应用程序或更高级的Qt-based GUI应用程序与额外的用户控件索尼IMX274图像传感器。两个应用程序支持HDMI(图像显示(电子邮件保护))或DP ((电子邮件保护))显示器。

4 k超高清视频会议的编码图像数据

编码图像数据最好通过千兆以太网网络传输。所以,对于这个项目,你可以看到在图3中,联邦单位用于编码和解码图像数据。

4 k的流视频接收和处理使用MIPI CSI-2 FPGA内部的IP。然后视频编码在电动汽车芯片使用H.265协议。编码数据然后使用TCP / IP协议转移到其他。第二,以太网和解码收到的数据是由联邦和4 k HDMI屏幕上显示。相同的过程反过来执行完成4 k视频会议。图3显示了详细的结构设计。

图3:Aldec 4 k UltraHD实时视频处理的解决方案使用以太网Gbit TySOM板上

有六个预定义的预设用于配置联邦编码器和译码器硬件:AVC(低、中、高)和HEVC(低、中、高)。低、中、高目标比特率10、30和60 AVC和HEVC Mbit / s。其余的压缩设置(包括概要、速度控制、共和党)都是相同的所有使用预设的设计。

这两个项目是准备作为一个板也可用于4 k视频处理项目。

这里是主要的HW本设计中使用组件和特性:

1. 豹成像LI-IMX274MIPI-FMC (v1.1)基于索尼IMX274成像仪视频源设备。
2. 4 k-capable与HDMI / DP接口监控视频显示设备。
3. Zynq UltraScale +内置硬件模块,PS 1 gbit以太网控制器,QSFP +连接器,*马里GPU。
4. Zynq UltraScale + PL-side软IP块:MIPI CSI2 RX党卫军,HDMI 2.0 TX SS ((电子邮件保护)),极光TX / RX党卫军。
5. QSFP +铜或光缆兼容。

*马里GPU用于单板GUI版本只。

在Aldec,我们支持工程师和帮助他们快速通道项目通过提供功能丰富的开发板和ADAS的现成的参考设计,物联网,深度学习、网络和许多更多。

这些引用都设计为TySOM开发板和融合的女儿卡。如果你有兴趣使用FPGA开发嵌入式视觉应用程序,我强烈推荐你阅读下面的文章:

如何开发高性能深层神经网络对象检测/识别应用fpga边缘设备吗

什么是鸟瞰ADAS应用和如何开发使用Zynq UltraScale + MPSoC FPGA ?