回顾:莫斯科国立大学视频质量测量工具
莫斯科国立大学 视频质量测量工具 (MSU VQMT)是我用来计算和可视化VMAF等客观指标的常用工具, PSNR值, 和SSIM. 在版本13中, MSU增加了编解码器兼容性和度量性能, 添加了新的HDR指标和显示功能, 并增强了VQMT已经是一流的可视化工具. 如果您是VQMT用户,那么这是一个必要的升级. 如果你没有,现在是考虑的好时机 购买 999美元的实用程序.
AV1支持
您可以访问新特性的完整列表 在这里. 排名靠前的是对av1编码视频的原生支持. 在以前的版本中,您必须在VQMT中分析AV1文件之前将其解码为YUV. 在版本13中,您现在可以将AV1文件直接输入到VQMT中,这非常方便.
快VMAF
VMAF无疑是我运行得最多的基准,计算VMAF本来就很慢,因为它由四个独立的指标组成(这就是为什么它被称为Video) 多重方法 评估融合). 在版本13中, MSU通过OpenCL加速了VMAF,它应该可以在AMD和NVIDIA显卡上工作. 您可以通过在Metric规范屏幕中选择该变量来启用该特性,如图所示 图1.
图1. CUDA加速Netflix的VMAF指标.
我在两台电脑上测试了这个新功能, HP Z840工作站,两个E5-2687W v3 Xeon cpu,运行速度为3.1 GHz,总共40核,以及基于Quadro K2200 gpu的显卡. 我还在一台运行至强E3-1505M CPU和Quadro M1000M GPU的8核惠普ZBook Studio G3上进行了测试.
在对两台计算机的第一次测试中,我计算了一个10秒文件的VMAF. 在Z840上,基于gpu的方法快了67%,这是相当惊人的. 在Z-book上, 使用功能较弱的移动GPU, the improvement was 40%; still impressive but less so. 然后我在一个VQMT实例中测试了两个10秒的文件, 两台电脑的相对性能略有提高(表1).
表1. GPU加速VMAF计算带来的性能提升.
然后,我使用同时运行的四个VQMT实例测试了四个同步计算. 我经常同时运行计算,因为VMAF计算是单线程的,运行4到6个实例比只运行1到2个实例获得更好的吞吐量, 特别是在Z840上. 有趣的是, 在这里, Z840的相对性能下降到41%, 而笔记本电脑的收益则增加到49%.
我正在进行测试,看看在基于cpu的计算可能有意义的VQMT实例数量方面是否存在一个交叉点, 虽然我的测试没有显示出这个阈值. 如果您在具有弱GPU的快速多核计算机上运行多个VQMT实例, 您可以执行类似的测试来衡量基于gpu的计算的好处. 为了记录,我检查了基于GPU和cpu的分数,它们是相同的.
二次抽样的操作
如果你时间紧迫的话, 您应该知道版本12中引入的另一个特性:次采样操作. 在Subsampling中选择它 & 性能选项卡显示在左侧 图2,使用右上方的控件. 在图中,我每隔四帧进行一次评分,这应该会大大加快操作速度,而且确实如此. 问题是,它如何改变得分? 答案是肯定的,但不多.
图2. 计算每四帧的VMAF.
你可以在 表2. 在两个一分钟的测试文件上测试每一帧需要131秒, 当每四帧测试时,哪一帧下降到42秒, 虽然没有达到预期的75%,但已经很接近了. 然而, 既不是VMAF平均值,也不是低帧分数(一种测量瞬时质量问题可能性的方法), 任何地方都有相应的变化.
表2. 当不测试每帧时,处理时间显著下降.
在我的研究采用抽样方法之前,我会用其他文件确认这些结果, 但当你急需VMAF分数时,这种方法看起来很有希望.
HDR指标和可视化
下一个主要的版本13添加是HDR参数, 特别是PSNR值值, SSIM, MSSSIM, VQM, 和Delta ICtCp. 顺便说一下背景, 当应用于HDR视频时,SDR指标已被证明是不可靠的,因为SDR和HDR使用不同的传递函数和色彩空间,具有非常不同的亮度水平(参见 HDR图像质量评价的客观质量指标的基准 和 高动态范围图像和视频质量预测的实用性. 有关不同色彩空间和传递函数的简单说明,请参见 在这里). 在本质上, SDR指标并不像人眼在HDR显示器上看到的那样“看到”像素,因此无法准确预测人类的评分.
底线是,你不能可靠地使用SDR指标来分析HDR视频. VMAF doesn't have an HDR version; in this video Netflix的Christos Bampis承认,是否可以在HDR视频中使用VMAF是一个悬而未决的问题. In 这篇博文, 备受尊敬的压缩学家Fabio Sonnati表示:“VMAF 4K没有针对HDR进行调整,所以我将把我的考虑限制在SDR的情况下.“如果你是一名HDR制作人,这些新指标将使VQMT与你的实践格外相关.
操作HDR指标非常灵活. 例如, 在开始测量之前,您可以选择视频的输入颜色空间, 比如BT.709、BT-2020等. 在运行度量之后, 您可以使用不同的显示颜色空间来显示视频帧,以模拟视频在另一台设备上的外观(图3). 然而,几乎没有任何解释, 因此,除非您非常熟悉色彩空间,否则您可能会发现灵活性令人生畏. 当然了, 但随着HDR的日益突出,有一个带有功能的工具来解决它是件好事.
图3. 您可以在许多不同的显示颜色空间中显示源帧和编码帧.
来了解一下新的HDR指标, 以及它们与SDR版本的区别, 我使用SDR和HDR版本的PSNR值测试了一个HDR剪辑, SSIM, 及MS SSIM (表3). 正如你所看到的,分数是不同的,尽管不是完全不同. 不过,如果你要对HDR质量进行基准测试,你应该使用HDR指标. 为了完成, 请注意,SSIMWAVE的SSIMPLUS度量是HDR兼容的,提供了另一个有价值的选项(参见 在这里).
表3. 同一视频片段上的SDR和HDR评分.
改进的可视化工具
视频质量指标经常被批评为主观评价的不准确预测. 出于这个原因, 通过实际观看视频和观察帧来确认关键分数是至关重要的. VQMT通过生成结果图(图4),在文件持续时间内显示一个或两个剪辑的分数,以直观地识别任何问题区域. 然后,您可以将播放头移动到该帧并单击右下角的Show frame以查看源和压缩帧.
图4. VQMT的结果图便于直观地验证客观度量.
在以前的版本中, you could load the frames side-by-side or toggle between the views with simple keystrokes (Ctrl + 1 for original frame; Ctrl +2 for first encode; Ctrl +3 for second encode). 然而, 并排视图很难看到细微的差异,在运行VQMT时,源帧和编码帧的顺序查看是有效的,但很难在PowerPoint演示文稿或报告中显示.
图5. VQMT版本13中增强的可视化工具
使用版本12, MSU增加了通过残差图可视化帧差的能力 图5 具有可配置的颜色托盘和伽马校正的可视化. 在此视图中,可视化图中的残差越大,失真越大. 这不仅有助于在亲自驾驶工具时验证您的观察结果, 这是一种以图形形式显示编码相关缺陷的非常有用的方法.
自从我在2015年左右开始使用这个工具以来,我一直是VQMT(和MSU团队)的忠实粉丝, 和 MSU continues to evolve the tool in all relevant vectors; performance, 包括质量指标, 和可用性. 如果你真的想尝试不同的编解码器和/或编码参数, 这是一个绝对必要的工具.
相关文章
无限的文件分析和Python界面突出了新功能
2022年10月31日
莫斯科国立大学图形和媒体实验室的负责人——VQMT和Subjectify的幕后推手.us -提供了他对客观和主观指标的见解,以及VMAF黑客和AV1.
2021年12月13日
作为一个度规, 苹果的高级视频质量工具(AVQT)也有一些亮点, 但如果没有更多的验证,很难看到它从现实世界的工作流中碰撞VMAF或SSIMPLUS.
2021年10月14日
Per Hultin讨论了如何应对不断增长的内容量和在线视频流日益增长的碳足迹所带来的挑战.
2021年9月27日
好消息是:一如既往,莫斯科国立大学的编解码器研究是最全面的. 坏消息是:除非你是TikTok或腾讯,否则你无法访问一些表现最好的应用.
2021年6月11日
在视频编解码器的严格测试中, 只有一个在客观和主观测试中产生了截然不同的结果. 是什么导致了这种差异呢?
11月15日2019
莫斯科国立大学的视频质量测量工具已经很好了. 新版本中的增强功能, 包括新的指标和同时运行多个分析的能力, 让它变得更好.
2018.03.23
最新的编解码器质量比较研究发现AV1在质量上名列前茅, 但在速度上远远落后, VP9打败了HEVC. 莫斯科政府还发起了“主体化”运动.Us,一个主观上比较视频质量的新服务.
1月30日2018
提及的公司及供应商