基于FPGA与RK3588的多通道低延时3G-SDI视频信号
目录
简介
主要用途：
项目简介：
详细过程：
BT1120视频时序转CEA861
视频像素编码格式转换
低延时处理
MIPI接口处理
视频处理模块
简介
主要解决 RK3588支持多种视频格式输入，但是没有支持多路SDI接口的设计方案，系统利用实现四路SDI视频图像的采集。传输。处理，以及全景显示，相比其他接口，3G-SDI接口速率高达2.97Gbps，传播距离更远。理论可达200m，同时前级处理采用FPGA处理,具有极低的处理延时,通过研发测试和验证，该设计方案可行，稳定可高，对于多路视频采集具有较高的价值。
主要用途：
解决了RK3588不支持SDI视频接口的局限性。
本发明解决了不同视频时序，像素格式的转换问题。
本发明满足了军用及安防领域低延时的需求。
项目简介：
系统采用SOC+FPGA的硬件架构,系统主要有FPGA、SDI收发器、RK3588以及相应的时钟电源的外围电路，SDI收发器主要接受外部摄像头的3G-SDI信号，进行解码串并转换后，发送给FPGA收到信号后，进行视频格式解析，像素格式处理等，然后经LT6911形成MIPI信号后，发送给RK3588,RK3588为瑞芯微全新一代旗舰级芯片，采用先进的8nm Fin-FET制程，搭载四核A76和四核A55，大核主频2.4GHz，小核主频1.8GHz，RK3588在本方案中主要完成视频实时显示、压缩、传送，存储等功能。
详细过程：
-
BT1120视频时序转CEA861
由于使用SDI解码芯片并不支持所有格式的CEA861模式，而CEA861模式通常易于处理，根据芯片产生的HVF信号转换CEA861模式对应的H、V、DE信号。
下图为芯片产生的HVF信号：
信号进行解析，得出CEA861视频像素时序。BT1120的EAV和SAV包含在消隐区内，基于1920*1080视频格式，有效区内SAV和EAV分别为200和274；消隐区内每行的SAV和EAV分别为2AC和2DB.EAV信号为HYNC的上升沿开始，SAV信号为HYNC结束。有效区YSYNC内为0，消隐区为1。由于信号高速传播中还存在一些异常的杂波，通过增加约束条件，将这一层杂波进行过滤。最终得出满足CEA861的时序关系图
视频像素编码格式转换
YUV422与RGB为两个不同的像素编码格式，根据以下公式，对将YUV422信号转化为RGB信号。
R = 1.164(Y - 16) + 1.793(CR - 128) = 1.164Y + 1.793CR - 248.128;
G = 1.164(Y - 16) - 0.534(CR - 128) - 0.213(CB - 128) = 1.164Y - 0.213CB - 0.534CR + 76.992;
B = 1.164(Y - 16) + 2.115(CB - 128) = 1.164Y + 2.115CB - 289.344;
通过此模块可以将YUV422信号转换为RGB信号。同时,为了能减少浮点运算以及除法运算导致的运行速率过慢，对以上公式进行转换，将公式两边同时扩大512倍，在缩小512倍来实现算法，因为1024是2的9次幂，所以只需要采用移位寄存器的方法来处理。
R＜＜9=596Y+817CR-114131;
G＜＜9=596Y-200CB-416CR+69370;
B＜＜9=596Y+1033CB-141787;
根据以上公式进行转换，转换完之后再右移9位进行恢复，需要说明的是，如果是负数，按0处理，如果大于255，按255进行处理。
低延时处理
通常的FPGA视频流设计流程，通常采用VDMA的方式，网上例子很多，官方也有很多参考，实现起来较为简单。
但是这套方案明显的问题是多了VDMA缓存的架构，这就导致视频传输的时候会有1到几帧的延迟，这对于低延时、高分辨率的情形肯定是不能容忍的，显然很难满足军用领导对延迟要求比较高的场景。
本方案去掉了VDMA图像缓存模块，并且删除了软核配置流程，同时也砍掉了DDR，大大降低了视频传输延时的同时也降低了成本,本方案主要架构如下：
由于FPGA的MIPI接口的IP需要向xinlinx官网申请购买，价格昂贵，且不适宜量产与维护，本方案中采用龙讯半导体LT6911芯片。
MIPI接口处理
LT6911是一款高性能HDMI1.4转MIPI DSI/CSI 芯片，具有可配置成单端口或双端口或四端口模式，具有1个高速时钟通道和1~4个以最大1.5Gb/s，可支持高达24Gbps的总带宽。支持burst模式的DSI视频数据传播。
本方案中，FPGA处理完视频格式转换后，以HDMI的形式进行输出，然后通过LT6911芯片，将HDMI信号转换MIPI信号传输给RK3588进行处理。同时该芯片还支持LVDS信号输出，将在实时显示中再次用到这个芯片。
视频处理模块
视频处理模块核心芯片采用瑞芯微全新一代旗舰芯片RK3588，采用先进的8nm fin-FET制程，搭载集成了四核A76和四核A55（共八核）CPU。
RK3588将四路MIPI视频信号进行实时显示，存储，压缩，传送等功能。
1.显示功能，显示功能采用与功能3一样的功能，采用龙讯LT6911芯片，将HDMI芯片转换成LVDS信号进行输出。
2.压缩，叠加，实时传输，RK3588压缩支持H.264或H.265、MPEG-4压缩编码，实时传输通过以太网口进行输出，编码输出协议支持RTSP、TCP、
3.实时显示，本方案前级处理采用FPGA方案，以达到低延时的效果，处理延时经计算为：帧延时期望8.3ms+转码延时33ns，最终延时预计在9ms以内，满足实时显示的需求。
4.存储，视频经压缩后，通过SATA盘进行存储。