论文阅读笔记：Deep Video Quality Assessor

shaoheshaohe · 发表于 2020-12-1 09:10:56

Temporal Motion Effect

启发来自视频的时空特性引起的综合掩盖效应。

时间掩盖效应：在存在较大运动时，色相，亮度和尺寸的变化对人来说不太明显。[4]

如果存在强烈的对比度或运动，根据掩盖效果[4,19,20”，失真就不太明显。 [4,19,20]

这一部分：提出了一种自上而下的方法，在该方法中，首先建立了失真与感知得分之间的关系，然后考虑了像素级敏感度基于时空因素。

[4] Suchow, J.W., Alvarez, G.A.: Motion silences awareness of visual change. Curr. Biol. 21(2), 140–143 (2011).
[19] Legge, G.E., Foley, J.M.: Contrast masking in human vision. JOSA 70(12), 1458–1471 (1980).
[20] Kim, H., Lee, S., Bovik, A.C.: Saliency prediction on stereoscopic videos. IEEE Trans. Image Process. 23(4), 1476–1490 (2014)

Temporal Memory for Quality Judgment

这一部分考虑了根据视频中帧的质量得分探索人类的回溯性质量判断模式。

如果视频（视频B）中存在严重失真的帧，即使两者均具有相同的平均质量，人们通常会确定其质量低于具有均匀质量分布的视频（视频A）

Architecture

spatical error map:

$\\e_S^t = \frac{log(1/(\hat{I}_r^t -\hat{I}_d^t)^2 + \epsilon / 255^2)}{log(255^2/\\epsilon ))}$

$\hat{I}^t_r / \hat{I}^t_d$ 表示失真frame $I_d^t$ 和参考frame $I_r^t$ 的第t帧的归一化形式。

frame difference map:

$\textbf{f}^t_d=|I^{t+\delta}_d - I^t_d| \newline \newline \delta = |fps/25|$

temporal error map:

$e^t_T = |\textbf{f}^t_d - \textbf{f}^t_r| , \textbf{f}^t_r$ 是参考帧的帧差

spatio-temporal sensitivity map:

$s^t = CNN_{s_1}(\hat{I}^t_d, e^t_S,\textbf{f}^t_d, e^t_T;\theta_{s1}),where \quad CNN_{s1} \quad is \quad the \quadCNN\quad model \quadof\quad step 1 \quadwith\quad parameters \quad \theta_{s1}$

perceptual error map:

$\textbf{P}^t = s^t \bigodot e^t_S, where \quad \bigodot \quad is \quad element-wise \quad product$ , 表示元素逐一相乘

spatial score :

$\mu_P^t =\frac{1}{(H-8)\cdot (W-8)} \sum_{(i,j)\in \Omega} P^t$

Convolutional Neural Aggregation Network

其中，

$e = m * \mu_P$

$\omega_t = \frac{exp(e_t)}{\sum_j exp(e_j)}, \sum_t\omega_t=1$

实验评价指标：

SROCC（Spearman rank-order correlation coefficient，斯皮尔曼秩相关系数）
PLCC（Pearson linear correlation coefficient，皮尔森线性相关系数）

shaoheshaohe · 发表于 2020-12-1 09:11:06

https://blog.csdn.net/qq_25283239/article/details/103348452

帐号		自动登录	找回密码
密码			立即注册