世界上最先进的视觉AI模型无法正确识别98%的照片

对于人类来说，这些答案是显而易见的。然而，世界上最强大的图像识别人工智能无法解决上述问题。之所以会这样，是因为每一张照片都经过精心挑选，用来“欺骗”图像识别技术。这些照片来自一个特殊的数据集，其中7000张照片是由加州大学伯克利分校、华盛顿大学和芝加哥大学的研究人员汇编的。

加州大学伯克利分校的计算机科学博士生丹亨德里克斯(Dan Hendrycks)说：“目前的(机器学习)模式并不完美。虽然很多研究都试图用人工数据来提高模型的能力，但我们发现这些模型在面对一些真实数据(来自真实照片)时，往往会出现严重且高度一致的误判。

为了说明这个问题的意义，我们首先回顾了图像识别技术的发展。

在过去的几年里，图像识别工具变得越来越好，识别速度也越来越快。这在很大程度上得益于斯坦福大学创建的开放数据集ImageNet，其规模仍在扩大。目前，该数据集包含1400多万张照片，每张照片都标有“树”和“天空”。这个庞大的数据库已经成为人工智能的重要训练材料集，也可以作为新AI系统训练图像识别系统的参考。例如，它就像一本儿童学习新单词的绘本。目前，通过ImageNet训练的人工智能准确率非常高，其物体识别准确率可达95%，优于人类图像内容分辨率。

然而，解决最后5%的精度差距是一个巨大的挑战。自2017年以来，计算机在图像识别的准确性方面一直很弱。正因为如此，研究人员试图探索——的原因，即为什么计算机不能解析某些图像。

通过这组新图像，研究人员手动搜索了Flickr(雅虎的照片共享网站)，寻找可能会让AI软件感到困惑的照片。然后，他们使用ImageNet数据集训练的AI模型进行测试，如果模型没有识别出照片内容，则将其添加到名为ImageNet-A的新数据集中(显然，这个名字的意思是反ImageNet)。在识别这7000张照片时，人工智能的准确率从90%迅速下降到2%。是的，你没有弄错。世界上最先进的视觉AI模型无法正确识别98%的照片。

至于为什么AI系统不能理解这些图像，这是一个相当复杂的问题。

目前AI训练基本上是把大量的数据放进“黑箱”。换句话说，我们只能根据最终的结果来判断它的准确性。比如“黑盒”看到了足够多的树图像，就会开始识别新照片中的树对象，我们认为训练是成功的(这样的重复任务称为机器学习)。但问题是，我们不知道AI依靠哪些指标来识别——棵树的形状。颜色？背景？质感？还是树木有人类从未意识到的统一核心几何样式？目前，科学家无法回答这个问题。

总之，AI能力的判断是通过结果来实现的，而不是通过推理过程。这意味着我们可能会在AI中发现各种意想不到的偏见，进而影响AI系统在无人驾驶汽车或刑事司法中的实际应用。此外，这也意味着图像识别系统并不是真正的智能，而更像是一个强大的匹配工具。

ImageNet-构建一个数据集来“欺骗”AI，然后总结为什么这些图像会让系统无法找到正确答案。比如，当AI把一张松鼠的图片误认为海狮时，其深度智能和推理能力的不足就会直接暴露出来。该系统可以仅依赖于这些动物的纹理——，而不是物体的相对大小或形状——来进行识别。亨德里克斯说：“那些需要根据物体形状正确判断的照片，似乎最容易欺骗AI模型。”

利用ImageNet-A，研究人员成功发现了7000个来自视觉AI的盲点。但是，这是否意味着可以将这些图像构建成一个新的训练集，从而修复AI模型的这个大问题？恐怕答案是否定的，Hendrycks指出，“由于现实世界中存在大量的多样性和复杂性因素，用这些图像进行训练可能无法教会模型如何真实可靠地管理全方位的视觉输入信息。比如采集标记1万亿张图像，可能足以解决模型中的一些盲点，但当出现新的场景或环境变化时，过去修复的盲点可能会再次暴露。”

换句话说，简单地在机器学习数据集上增加更多的照片，并不能在逻辑层面上解决AI模型的核心缺陷。毕竟，总会有电脑从未见过的图像。那么，研究人员如何解决最后5%的准确率差距呢？亨德里克解释说，他们需要开发现代机器学习范围之外的新方法，以创建更复杂的人工智能系统。在实现这个目标之前，人类还是可以保持一点优越感的。到目前为止，AI在某些方面还无法与人类抗衡。