谷歌引入了人工智能产生的音频和视频质量的新指标

谷歌AI研究人员发布了两个衡量深度学习网络产生的音频和视频质量的新指标，即弗雷歇音频距离(FAD)和弗雷歇视频距离(FVD)。指标已被证明与质量的手动评估高度相关。

在最近的一篇博客文章中，软件工程师凯文基尔古尔(Kevin Kilgour)和托马斯安特辛纳(Thomas Unterthiner)描述了他们团队所做的工作，这些工作是基于以前对测量神经网络生成的图像质量的研究。这些团队展示了他们的新指示器如何分别检测添加到声音或视频中的噪音，以及如何通过手动评估声音或视频质量来跟踪指示器。FAD是通过对失真音频样本对的序列进行排序来评估的，其选择与人类判断的相关性为0.39。通过对深度学习模型生成的视频对进行排序，对FVD进行了类似的评估。根据使用的生成标准，它与人类排名在60%到80%之间是一致的。

在某种程度上，深度学习模型的成功是由ImageNet等大规模高质量数据集的可用性驱动的。这些数据集也提供了可以用来评估模型的“基本事实”。深度学习在生成新图像中的最新流行应用提出了一个新问题：如何衡量输出质量？由于这些网络生成的图像或其他数据没有“基本事实”答案，因此无法应用信噪比或均方误差等通用指标。

由于目标是创建一个看起来或听起来真实的输出，人类评委可以对数据进行分级，但这既不可扩展也不客观。GAN的发明者提出的初始指数是初始分数(IS)。通过将预先训练的初始图像分类器应用于图像并计算结果统计来计算该指数。该度量“与生成模型的训练目标密切相关”，并已被证明与人类对质量的判断高度相关。

然而，初始分数指标存在一些不足。特别是，它对所使用的底层初始模型的变化很敏感。Unterthiner等人在奥地利约翰尼斯开普勒大学的LIT人工智能实验室开发了弗雷歇起始距离。FID使用初始模型的隐藏层来计算输入图像的嵌入，而不是使用初始模型的分类输出。为一组生成的图像和一组真实世界(或基线)图像计算嵌入。所得数据集被视为多元高斯分布生成的数据，并使用弗雷谢特距离对两种分布进行比较。与IS相比，FID相对于IS的一个优点是，当图像中加入噪声时，FID会增加，而IS可能保持不变甚至会减少。

谷歌的新指标扩展了为生成的数据计算嵌入以及将统计数据与基准数据进行比较的思想。对于FAD，该团队使用VGGish来计算嵌入，而对于FVD，它使用充气的3D Convnet。为了验证这些指标的有效性，研究人员计算了通过向基线添加噪声而创建的数据集的指标值。预计分数会随着噪音的增加而增加，这确实发生了。该团队还将他们的测量结果与人类的评价进行了比较，发现了他们的测量与人类判断的相关性，他们的新测量比其他常用的测量更符合人类判断者的共识。