如何判断人工智能是否按照我们想要的方式工作

大约十年前，深度学习模型开始在各种任务上取得超人的结果，从击败世界冠军棋盘游戏玩家到在诊断乳腺癌方面优于医生。

这些强大的深度学习模型通常基于人工神经网络，这些神经网络在20世纪40年代首次提出，并已成为一种流行的机器学习类型。计算机学习使用模拟人脑的互连节点或神经元层来处理数据。

随着机器学习领域的发展，人工神经网络也随之发展。

深度学习模型现在通常由许多层中的数百万或数十亿个互连节点组成，这些节点经过训练以使用大量数据执行检测或分类任务。但是由于这些模型非常复杂，即使是设计它们的研究人员也不完全了解它们是如何工作的。这使得很难知道它们是否正常工作。

例如，也许一个旨在帮助医生诊断患者的模型正确地预测了皮肤病变是癌性的，但它通过关注一个不相关的标记来实现，当照片中有癌组织时，该标记恰好经常发生，而不是癌组织本身。这被称为虚假相关性。模型的预测是正确的，但它这样做的原因是错误的。在真正的临床环境中，该标记不会出现在癌症阳性图像上，这可能导致错过诊断。

由于这些所谓的“黑匣子”模型周围有如此多的不确定性，人们如何才能解开盒子里发生的事情呢?

这个难题导致了一个新的、快速增长的研究领域，研究人员开发和测试解释方法(也称为可解释性方法)，试图揭示黑盒机器学习模型如何做出预测。

什么是解释方法?

在最基本的层面上，解释方法是全局的或局部的。局部解释方法侧重于解释模型如何做出一个特定的预测，而全局解释则试图描述整个模型的整体行为。这通常是通过开发一个单独的，更简单的(并且希望可以理解的)模型来完成的，该模型模仿更大的黑盒模型。

但是，由于深度学习模型从根本上以复杂和非线性的方式工作，因此开发有效的全局解释模型尤其具有挑战性。这导致研究人员将他们最近的大部分注意力转向局部解释方法，计算机科学与人工智能实验室(CSAIL)交互式机器人小组的研究生Yilun Zhou解释说，他研究可解释机器学习中的模型，算法和评估。

最流行的局部解释方法类型分为三大类。

第一种也是最广泛使用的解释方法类型称为特征归因。要素归因方法显示模型做出特定决策时哪些要素最重要。

特征是馈送到机器学习模型并用于其预测的输入变量。当数据为表格时，将从数据集中的列中提取要素(使用各种技术对其进行转换，以便模型可以处理原始数据)。另一方面，对于图像处理任务，图像中的每个像素都是一个特征。例如，如果模型预测X射线图像显示癌症，则特征归因方法将突出显示该特定X射线中对模型预测最重要的像素。

从本质上讲，特征归因方法显示了模型在进行预测时最关注的内容。

“使用这个特征归因解释，你可以检查虚假相关性是否是一个问题。例如，它将显示水印中的像素是否突出显示，或者实际肿瘤中的像素是否突出显示，“Zhou说。

第二种类型的解释方法称为反事实解释。给定输入和模型的预测，这些方法显示如何更改该输入，使其落入另一个类。例如，如果机器学习模型预测借款人将被拒绝贷款，那么反事实解释显示了需要改变哪些因素才能接受她的贷款申请。也许她的信用评分或收入，模型预测中使用的两个特征，需要更高才能让她获得批准。

“这种解释方法的好处是，它准确地告诉你需要如何改变输入来翻转决策，这可能具有实际用途。对于正在申请抵押贷款但没有得到抵押贷款的人来说，这种解释会告诉他们需要做些什么才能实现他们想要的结果，“他说。

第三类解释方法称为示例重要性解释。与其他方法不同，此方法需要访问用于训练模型的数据。

示例重要性解释将显示模型在进行特定预测时最依赖的训练样本;理想情况下，这是与输入数据最相似的样本。如果观察到一个看似不合理的预测，这种类型的解释特别有用。可能存在影响用于训练模型的特定样本的数据输入错误。有了这些知识，就可以修复该样本并重新训练模型以提高其准确性。

如何使用解释方法?

开发这些解释的一个动机是执行质量保证和调试模型。例如，随着对特征如何影响模型决策的更多理解，人们可以识别模型工作不正确并进行干预以解决问题，或者将模型抛出并重新开始。

另一个最近的研究领域是探索使用机器学习模型来发现人类以前从未发现的科学模式。例如，一个优于临床医生的癌症诊断模型可能是错误的，或者它实际上可能在X射线图像中发现了一些隐藏的模式，这些模式代表了癌症的早期病理途径，这些途径要么人类医生不知道，要么被认为是无关紧要的，周说。

然而，对于该研究领域来说，现在还为时过早。

警告语

虽然解释方法有时对机器学习从业者有用，当他们试图捕捉模型中的错误或理解系统的内部工作原理时，最终用户在尝试在实践中使用它们时应该谨慎行事，CSAIL的助理教授兼健康ML小组负责人Marzyeh Ghassemi说。

随着机器学习被越来越多的学科所采用，从医疗保健到教育，解释方法被用于帮助决策者更好地理解模型的预测，以便他们知道何时信任模型并在实践中使用其指导。但Ghassemi警告不要以这种方式使用这些方法。

“我们发现，解释使人们，无论是专家还是非专家，都对特定推荐系统的能力或建议过于自信。我认为对人类来说，不要关闭内部电路，要求'让我质疑我

得到的建议'是非常重要的，“她说。

她补充说，根据最近的其他工作，科学家们知道解释会让人们过于自信，并引用了微软研究人员最近的一些研究。

远非银弹，解释方法有其问题。首先，Ghassemi最近的研究表明，解释方法可能会使偏见永久化，并导致弱势群体的更糟糕的结果。

解释方法的另一个陷阱是，通常无法首先判断解释方法是否正确。Zhou说，人们需要将解释与实际模型进行比较，但由于用户不知道模型是如何工作的，所以这是循环逻辑。

他和其他研究人员正在努力改进解释方法，以便他们更忠实于实际模型的预测，但周警告说，即使是最好的解释也应该谨慎对待。

“此外，人们通常认为这些模型是类似人类的决策者，我们容易过度概括。我们需要让人们冷静下来，让他们退缩，真正确保他们从这些局部解释中建立的广义模型理解是平衡的，“他补充道。

周永康最近的研究就是要做到这一点。

机器学习解释方法的下一步是什么?

Ghassemi认为，与其专注于提供解释，不如研究界需要做更多的努力来研究信息如何呈现给决策者，以便他们理解它，并且需要制定更多的监管措施，以确保机器学习模型在实践中得到负责任的使用。更好的解释方法本身并不是答案。

“我很高兴看到人们认识到，即使在工业界，我们也不能仅仅利用这些信息，制作一个漂亮的仪表板，并假设人们会表现得更好。你需要在行动上有可衡量的改进，我希望这能带来真正的指导方针，以改善我们在医学等这些深度技术领域的信息显示方式，“她说。

除了专注于改进解释的新工作外，Zhou还希望看到更多与特定用例的解释方法相关的研究，例如模型调试，科学发现，公平性审计和安全保证。通过识别解释方法的细粒度特征和不同用例的要求，研究人员可以建立一种将解释与特定场景相匹配的理论，这可以帮助克服在现实世界场景中使用它们所带来的一些陷阱。