视频质量评价算法 DVQA 介绍
DVQA 介绍
-
DVQA是腾讯多媒体实验室设计的一个基于深度学习的视频质量评估算法。它适用于在源参考视频可用的场景下,精确衡量视频内容的人眼感知质量。DVQA包含多个质量评估算法模型,其中开源的算法为C3DVQA。这个项目使用Python开发,深度学习模块使用PyTorch,并且代码采用模块化设计,方便集成较新的深度学习技术和自定义模型。
-
C3DVQA的网络结构包含两层二维卷积来逐帧提取空域特征,然后使用四层三维卷积层来学习时空联合特征。三维卷积输出描述了视频的时空掩盖效应,用以模拟人眼对视频残差的感知情况。网络最后是池化层和全连接层,其中池化层的输入为残差帧经掩盖效应处理后的结果,代表人眼可感知残差。全连接层学习整体感知质量和目标质量分数区间的非线性回归关系。
-
在评测效果上,C3DVQA在LIVE和CSIQ两个视频质量数据集上的性能表现优异,与常用的全参考质量评估算法如PSNR,MOVIE,ST-MAD,VMAF和DeepVQA相比,C3DVQA在PLCC和SROCC两个质量准则上都取得了更好的成绩。
-
腾讯多媒体实验室:https://multimedia.tencent.com/zh