综述-无参考视频质量评价（NR-VQA）

shaoheshaohe

无参考视频质量评价（NR-VQA）和全参考基本共享同类的模型框架，它们要么基于frame-by-frame的NR-IQA+时域特征+temporal pooling，要么基于时空特征提取。frame-by-frame的NR-IQA一般采用NIQE，如[3],[9]，但也有一些作者是基于自己之前的NR-IQA工作，做的自然而然的扩展，如[5],[14]。时空特征描述的方式也很大程度上借鉴了NR-IQA中的一些工作[8],[19]。

如果非要用某种方法对无参考视频质量评价（NR-VQA）方法进行分类，一种常用分类方式应是以深度学习（准确的说，CNN）为界，分为：

• 传统方法：不基于学习，或者基于经典机器学习方法做回归的方法，包括但不仅限于SVR、RF、NN等[1-7,9-11,13,16,19,20];
• 半深度：一般是基于CNN提取特征+手工特征，或者使用CNN做特征增强[8,12,14,15,18]；
• 深度学习：完全基于深度学习的框架，没有手工特征的引入等[17]。
  

传统方法

传统方法里，基于自然视频统计特性（Natural Video Statistics，NVS）占据了绝大多数。NVS是从NSS的自然而然的过渡。[1,3,4,7,10]-[11]、[16]和[20]均是基于GGD/AGGD的参数拟合。其中，基本都是对帧间差分的MSCN的NVS建模，或者在DCT域对系数分布建模（2D-DCT/3D-DCT），对于运动的刻画一般使用两帧之间的运动补偿（DCT系数的变化等）。

尽管一些工作用NIQE做为spatial quality，但是基于笔者对于videoBLIINDS [3] 的验证，有NIQE和没有NIQE的影响没有这么大，也就是说，NIQE直接用到NR-VQA中效果极为有限，直接将NR-IQA用于做NR-VQA的度量工作可能有待商榷。当然，目前公布代码的NR-VQA工作基本只有[3]和[10]，更多的验证工作也没有办法展开。

其他的传统方法里，videoCORNIA [5]延续了CORNIA的方法，只是增加了temporal pooling；一些基于DCT能量分布的方法 [6,7]取得了较为不错的成绩；同样地，基于光流的光滑假设，一些基于光流特征刻画的工作也取得了较好的效果[2,9,13]，甚至于在立体视频质量评价领域，工作[13]的时域质量估计效果要优于空域质量估计；一些利用时空特征的工作，比如[7,16,19]。工作[7]基于3D-DCT的统计特性，工作[16]基于3D张量分解，工作[19]基于LBP_TOP。

半深度

一部分半深度的工作是基于现有的CNN网络提取空域特征，再手动加入时域特征，如[12,14,15]；工作[8]将3D-shearlet的系数作为1D-CNN的输入，用1D-CNN来进行特征增强与回归；工作[18]以3D-DCT的AC系数和作为输入，以CNN来提取特征（但基于作者的实验，CNN什么的都不重要，resample策略才是重中之重，然而resample策略很有局限）。

深度学习

目前笔者能够搜集到的文章，仅有[17]称得上是完全基于深度学习的NR-VQA。[17]拓展了其在NR-IQA中的方法MEON，将2D卷积改为了3D卷积，增加了层级的slow fusion来捕获更多的时空信息，利用ffmpeg和SSIMPlus构建了包含3k个H.264和HEVC编码视频的训练数据集，得到了第一个针对两类压缩噪声的端对端的DNN模型。

另有一些针对FR-VQA的DNN工作，如[21-23]，要么基于作者自己IQA工作的拓展[22]，要么只是将DNN应用于该领域[21]，且不属于NR范畴[23]。

[1] Yao J, Xie Y, Tan J, et al. No-reference video quality assessment using statistical features along temporal trajectory[J]. Procedia Engineering, 2012, 29: 947-951.

[2] Manasa K, KVSNL M P, Channappayya S S. A perceptually motivated no-reference video quality assessment algorithm for packet loss artifacts[C]//2014 Sixth International Workshop on Quality of Multimedia Experience (QoMEX). IEEE, 2014: 67-68.

[3] Saad M A, Bovik A C, Charrier C. Blind prediction of natural video quality[J]. IEEE Transactions on Image Processing, 2014, 23(3): 1352-1365.

[4] Xia X, Lu Z, Wang L, et al. Blind video quality assessment using natural video spatio-temporal statistics[C]//2014 IEEE International Conference on Multimedia and Expo Workshops (ICMEW). IEEE, 2014: 1-6.

[5] Xu J, Ye P, Liu Y, et al. No-reference video quality assessment via feature learning[C]//2014 IEEE international conference on image processing (ICIP). IEEE, 2014: 491-495.

[6] Zhu K, Li C, Asari V, et al. No-reference video quality assessment based on artifact measurement and statistical analysis[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2014, 25(4): 533-546.

[7] Li X, Guo Q, Lu X. Spatiotemporal statistics for video quality assessment[J]. IEEE Transactions on Image Processing, 2016, 25(7): 3329-3342.

[8] Li Y, Po L M, Cheung C H, et al. No-reference video quality assessment with 3D shearlet transform and convolutional neural networks[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2015, 26(6): 1044-1057.

[9] Manasa K, Channappayya S S. An optical flow-based no-reference video quality assessment algorithm[C]//2016 IEEE International Conference on Image Processing (ICIP). IEEE, 2016: 2400-2404.

[10] Mittal A, Saad M A, Bovik A C. A completely blind video integrity oracle[J]. IEEE Transactions on Image Processing, 2015, 25(1): 289-300.

[11] Ghadiyaram D, Chen C, Inguva S, et al. A no-reference video quality predictor for compression and scaling artifacts[C]//2017 IEEE International Conference on Image Processing (ICIP). IEEE, 2017: 3445-3449.

[12] Wang C, Su L, Huang Q. CNN-MR for no reference video quality assessment[C]//2017 4th International Conference on Information Science and Control Engineering (ICISCE). IEEE, 2017: 224-228.

[13] Yang J, Wang H, Lu W, et al. A no-reference optical flow-based quality evaluator for stereoscopic videos in curvelet domain[J]. Information Sciences, 2017, 414: 133-146.

[14] Ahn S, Lee S. Deep blind video quality assessment based on temporal human perception[C]//2018 25th IEEE International Conference on Image Processing (ICIP). IEEE, 2018: 619-623.

[15] Göring S, Skowronek J, Raake A. DeViQ–A deep no reference video quality model[J]. Electronic Imaging, 2018, 2018(14): 1-6.

[16] Jiang G, Liu S, Yu M, et al. No reference stereo video quality assessment based on motion feature in tensor decomposition domain[J]. Journal of Visual Communication and Image Representation, 2018, 50: 247-262.

[17] Liu W, Duanmu Z, Wang Z. End-to-End Blind Quality Assessment of Compressed Videos Using Deep Neural Networks[C]//ACM Multimedia. 2018: 546-554.

[18] Zhang Y, Gao X, He L, et al. Blind video quality assessment with weakly supervised learning and resampling strategy[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2018.

[19] Singh R, Aggarwal N. A distortion-agnostic video quality metric based on multi-scale spatio-temporal structural information[J]. Signal Processing: Image Communication, 2019, 74: 299-308.

[20] Wang Y, Shuai Y, Zhu Y, et al. Jointly learning perceptually heterogeneous features for blind 3D video quality assessment[J]. Neurocomputing, 2019, 332: 298-304.

[21] Yang J, Zhu Y, Ma C, et al. Stereoscopic video quality assessment based on 3D convolutional neural networks[J]. Neurocomputing, 2018, 309: 83-93.

[22] Kim W, Kim J, Ahn S, et al. Deep video quality assessor: From spatio-temporal visual sensitivity to a convolutional neural aggregation network[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 219-234.

[23] Zhang Y, Gao X, He L, et al. Objective Video Quality Assessment Combining Transfer Learning With CNN[J]. IEEE transactions on neural networks and learning systems, 2019.

shaoheshaohe

https://blog.csdn.net/u014150857/article/details/94909715