我们如何建立一套无参考视频质量评价体系？

Answer 1

在实时互动无处不在的当代，视频质量成为了衡量用户体验的关键指标。单纯依赖人工进行大规模实时评估不可行，因此自动化评估体系的构建与推广势在必行。
然而，如何评判视频质量？不同的关注点将带来不同的答案。对于终端用户的直播体验而言，实时质量监控是重点；对于提供视频技术服务的人员来说，关注的是视频算法版本之间的细小改进或退步。因此，我们需要一套“主观视频质量体验”客观指标体系，既可用于客户端体验评估或故障检测，也作为算法优化的参考。我们将此体系命名为 VQA（Video Quality Assessment）。
构建 VQA 体系的难点在于数据收集与模型建立。数据收集涉及量化人对视频质量的主观评价，模型建立则需使模型能够取代人工评分。本文将分别梳理业界的评估方法、介绍声网的 Agora-VQA 模型构建过程，并总结未来的改进方向。
业界如何实现视频质量评估？建立视频质量评估模型通常分为两步：收集 VQA 数据与训练 VQA 模型。整个 VQA 训练过程通过客观模型对主观标注的模拟实现，预测效果的好坏由一致性评价指标衡量。主观 VQA 标注通过分级评分收集终端用户反馈，旨在量化真实用户的视频体验；客观 VQA 提供模仿主观质量分级的数学模型。
主观 VQA 数据收集主要涉及 MOS（Mean Opinion Score）与 DMOS（Differential Mean Opinion Score）。MOS 描述绝对评价，适用于 UGC 视频的质量量化；DMOS 表示相对评价，比较视频间的差异。本文重点介绍 MOS，ITU-T Rec BT.500 提供的操作指南保证了主观实验的信度和效度。
VQA 工具主要分为 Full Reference（全参考）、Reduced Reference（半参考）与 No Reference（无参考）三类。Full Reference 依赖完整原始视频序列作为参考，基于逐像素的 PSNR 和 SSIM 是最原始的比较方法；Reduced Reference 的比较对象是某些对应特征，适用于原始视频序列不可得的场景；No Reference 方法解除了对附加信息的依赖，更加“就事论事”地评价当前视频。
VQA 体系的一致性评价指标包括预测精度（PLCC、RMSE）与预测单调性（SROCC）。业界通常通过这些指标定义各类 VQA 工具的优劣。
Agora-VQA 如何实现视频质量评估？声网建立了 Agora-VQA Dataset 并在此基础上训练了 Agora-VQA Model，这是业内首个可在移动设备上运行的基于深度学习的视频主观体验 MOS 评估模型。它利用深度学习算法估计实时互动场景接收端视频画质的主观体验 MOS 分，极大提高了视频画质评估的效率，使得线上视频质量的实时评估成为可能。
Agora-VQA 的实现包含以下关键步骤：建立评估数据库、搭建打分 app、收集主观打分与进行数据清洗。数据库包含丰富的内容来源与均衡的画质区间，评估 app 提供了控制观看总时长与减少评分员疲劳的机制。数据清洗采用 ITU 标准与 95% 置信区间的计算方法，确保结果的准确性和可靠性。
VQA 工具的选择与性能比较是构建 Agora-VQA 的重要考虑因素。通过分析不同画质评估算法在 KonViD-1k 和 LIVE-VQC 上的相关性，以及模型的参数量和运算量对比，我们能够评估并优化 Agora-VQA 的性能。
展望未来，Agora-VQA 的发展将涵盖以下几个方向：从解码分辨率到渲染分辨率的扩展、从视频片段到整段通话的体验评估、从体验得分到故障分类的故障检测功能、以及从实时评估到行业标准化的进程。此外，Agora-VQA 也在逐步开放中，未来将集成在线评估功能，并发布离线测评工具。
通过本文的介绍，我们希望能够提供一个全面的 VQA 体系构建视角，鼓励开发者深入探讨并共同推动视频质量评估技术的发展。