FPGA实时红外相机采集输出系统，提供工程源码和技术支持

1、前言

近年来，高端局战争已发生了翻天覆地的变化，以我国云南边境的某外国内战为例，某地方武装正在雨林中猥琐发育，突然天降大批无人机和配套的导弹，甚至简体中文版使用手册也附带其中，于是该地方武装人员操作无人机对敌军造成了巨大损失，敌军被打蒙后，决定学习我军的夜战传统昼伏夜出，结果晚上也被无人机精准击杀，原来无人机上安装了红外摄像头，从空中俯视，敌军被一个个看得一清二楚。。。。于是敌军又学聪明了，听到无人机声音后立马躲进小树林，结果依然被无人机精准击杀，原来无人机上还安装了热成像摄像头，从空中俯视，敌军依然被一个个看得一清二楚。。。。敌军这下彻底服了，立马下跪投降，于是骚扰我国的缅北电诈集团被团灭，话事人也被送到国境内审判，这就是己不战而夺城，也是无人机+红外相机+热成像仪在现代战争中的小试牛刀；本设计采用FPGA为平台，实时采集红外相机，经过图像缓存后用HDMI输出；

工程概述

本设计基于Xilinx系列FPGA为平台，搭建红外相机实时采集系统，视频输入源为红外相机，相机输出LVCMOS数字视频接口，即包含 1 个时钟信号线、1 个帧同步（场同步）信号线、1 个行同步信号线、1 个使能信号线和 14 个并行数据信号线。当一帧数据到来时， 帧同步信号置高电平，表示接下来的数据为同一帧数据，这一帧数据结束后帧同步信号置低电平，表示该帧数据结束。同样当一行数据到来时，行同步信号置高 电平，当该行数据结束后，行同步信号置低电平，视频分辨率为640x512；输入视频直接送入本博主常用的FDMA图像缓存架构实现图像两帧缓存，缓存介质为板载DDR3或者Zynq的PS端DDR；然后Native视频时序控制FDMA从DDR3中读取视频并同步输出RGB888视频流；然后使用RGB转HDMI模块或者专用芯片实现RGB视频流转HDMI差分视频信号；最后用显示器显示视频即可；针对市场主流需求，本博客设计并提供1套工程源码，具体如下：

开发板FPGA型号为Xilinx-ZU19EG-xczu19eg-ffvc1760-2-i；视频输入源为红外相机，相机输出LVCMOS数字视频接口，视频分辨率为640x512；输入视频直接送入本博主常用的FDMA图像缓存架构实现图像两帧缓存，缓存介质为板载DDR3或者Zynq的PS端DDR；然后Native视频时序控制FDMA从DDR3中读取视频并同步输出RGB888视频流；然后使用silicom9134专用芯片实现RGB视频流转HDMI差分视频信号，输出分辨率为1920x1080@60Hz黑色背景下叠加640x512的有效视频；最后通过HDMI显示器显示；由此形成FPGA+红外相机+图像缓存+HDMI的实时图传架构；该工程适用于FPGA采集红外相机应用；

本博客详细描述了Xilinx系列FPGA实时红外相机采集输出系统的设计方案，工程代码可综合编译上板调试，可直接项目移植，适用于在校学生、研究生项目开发，也适用于在职工程师做学习提升，可应用于医疗、军工等行业的高速接口或图像处理领域；
提供完整的、跑通的工程源码和技术支持；
工程源码和技术支持的获取方式放在了文章末尾，请耐心看到最后；

免责声明

本工程及其源码即有自己写的一部分，也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网以及其他开源免费获取渠道等等)，若大佬们觉得有所冒犯，请私信批评教育；部分模块源码转载自上述网络，版权归原作者所有，如有侵权请联系我们删除；基于此，本工程及其源码仅限于读者或粉丝个人学习和研究，禁止用于商业用途，若由于读者或粉丝自身原因用于商业用途所导致的法律问题，与本博客及博主无关，请谨慎使用。。。

2、相关方案推荐

我已有的所有工程源码总目录----方便你快速找到自己喜欢的项目

其实一直有朋友反馈，说我的博客文章太多了，乱花渐欲迷人，自己看得一头雾水，不方便快速定位找到自己想要的项目，所以本博文置顶，列出我目前已有的所有项目，并给出总目录，每个项目的文章链接，当然，本博文实时更新。。。以下是博客地址：
点击直接前往

我这里已有的红外相机图像处理解决方案

我的主页有FPGA红外相机图像处理专栏，该专栏有关于红外相机图的各种图像处理；以下是专栏地址：
点击直接前往

3、工程详细设计方案

工程设计原理框图

工程设计原理框图如下：

红外相机

视频输入源为红外相机，相机输出LVCMOS数字视频接口，即包含 1 个时钟信号线、1 个帧同步（场同步）信号线、1 个行同步信号线、1 个使能信号线和 14 个并行数据信号线。当一帧数据到来时， 帧同步信号置高电平，表示接下来的数据为同一帧数据，这一帧数据结束后帧同步信号置低电平，表示该帧数据结束。同样当一行数据到来时，行同步信号置高 电平，当该行数据结束后，行同步信号置低电平，视频分辨率为640x512；红外相机视频输出时序如下：

LVCMOS 视频数据每一个像素的数据对应 1 个时钟周期。每一帧的数据量与 机芯探测器的面阵大小相同，机芯探测器面阵大小为 640512，LVCMOS 每一帧 包含 640512=327680 个像素的数据，每行有 640 个数据，共有 512 行。即每个 行同步信号高电平持续的时间为 640 个时钟周期，在一帧数据期间，行同步信号 共有 512 次被置为高电平。在上图中，同步信号和数据信号都是在时钟的上升沿 进行变化，在实际的程序设计中，可以令信号在时钟的下降沿开始变化，以便于接收端在时钟的上升沿进行采样。

FDMA图像缓存

FDMA图像缓存架构实现的功能是将输入视频缓存到板载DDR3中再读出送后续模块，目的是实现视频同步输出，实现输入视频到输出视频的跨时钟域问题，更好的呈现显示效果；由于调用了Xilinx官方的MIG作为DDR控制器，所以FDMA图像缓存架构就是实现用户数据到MIG的桥接作用；架构如下：

FDMA图像缓存架构由FDMA控制器+FDMA组成；FDMA实际上就是一个AXI4-FULL总线主设备，与MIG对接，MIG配置为AXI4-FULL接口；FDMA控制器实际上就是一个视频读写逻辑，以写视频为例，假设一帧图像的大小为M×N，其中M代表图像宽度，N代表图像高度；FDMA控制器每次写入一行视频数据，即每次向DDR3中写入M个像素，写N次即可完成1帧图像的缓存，读视频与之一样；同时调用两个FIFO实现输入输出视频的跨时钟域处理，使得用户可以AXI4内部代码，以简单地像使用FIFO那样操作AXI总线，从而达到读写DDR的目的，进而实现视频缓存；本设计图像缓存方式为3帧缓存；基于FDMA的图像缓存架构在Block Design设计中如下：

HDMI视频输出架构

缓存图像从DDR3读出后经过Native时序生成模块输出标准的VGA时序视频，然后经过纯verilog显示的RGB转HDMI模块输出HDMI差分视频；然后使用silicom9134专用芯片实现RGB视频流转HDMI差分视频信号，输出分辨率为1920x1080@60Hz黑色背景下叠加640x512的有效视频；最后通过HDMI显示器显示；silicom9134需要i2c配置才能使用，代码中配置如下：

工程源码架构

工程Block Design设计如下：

综合后的工程源码架构如下：

工程使用了Zynq系列FPGA；PL端时钟由Zynq软核提供，所以需要运行运行SDK以启动Zynq，所以需要在SDK里运行一个简单的hello world程序，SDK软件代码架构如下：

工程编译后资源消耗低、功耗低、时序收敛，符合工程项目应用要求，如下：

上图只是举例，资源消耗并非本工程的实际消耗，实际消耗请看下文的《工程代码详解》；

4、vivado工程源码1详解

开发板FPGA型号：Xilinx-ZU19EG-xczu19eg-ffvc1760-2-i；
FPGA开发环境：Vivado2019.1；
输入：红外相机，分辨率640x512@30Hz；
输出：HDMI，silicom9134芯片编码方案，分辨率1920x1080@60Hz黑色背景下叠加640x512的有效视频；
图像缓存方案：FDMA图像缓存+DDR3颗粒+2帧缓存；
实现功能：FPGA实时红外相机采集输出系统；
工程作用：此工程目的是让读者掌握FPGA实时红外相机采集输出系统的设计能力，以便能够移植和设计自己的项目；
工程Block Design和工程代码架构请参考第3章节的《工程源码架构》小节内容；
工程的资源消耗和功耗如下：

5、工程移植说明

vivado版本不一致处理

1：如果你的vivado版本与本工程vivado版本一致，则直接打开工程；
2：如果你的vivado版本低于本工程vivado版本，则需要打开工程后，点击文件–>另存为；但此方法并不保险，最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本；

3：如果你的vivado版本高于本工程vivado版本，解决如下：

打开工程后会发现IP都被锁住了，如下：

此时需要升级IP，操作如下：

FPGA型号不一致处理

如果你的FPGA型号与我的不一致，则需要更改FPGA型号，操作如下：



更改FPGA型号后还需要升级IP，升级IP的方法前面已经讲述了；

其他注意事项

1：由于每个板子的DDR不一定完全一样，所以MIG IP需要根据你自己的原理图进行配置，甚至可以直接删掉我这里原工程的MIG并重新添加IP，重新配置；
2：根据你自己的原理图修改引脚约束，在xdc文件中修改即可；
3：纯FPGA移植到Zynq需要在工程中添加zynq软核；

6、上板调试验证

准备工作

需要准备的器材如下：
红外相机，没有的可以找本博提供；
FPGA开发板，没有开发板可以找本博提供；
HDMI显示器和HDMI线缆；
我的开发板了连接如下：

FPGA实时红外相机采集输出效果演示

FPGA实时红外相机采集输出效果演示如下：

7、工程代码的获取

代码太大，无法邮箱发送，以某度网盘链接方式发送，
资料获取方式：文章末尾名片。
网盘资料如下：

此外，有很多朋友给本博主提了很多意见和建议，希望能丰富服务内容和选项，因为不同朋友的需求不一样，所以本博主还提供以下服务：