该模型在因果推理下是可解释的吗？-方法概述

机器学习方法在工作中的应用越来越广泛，深度神经网络的成功将感知智能推向了一个高峰。但是，人们往往需要理解模型为什么会做出这样的判断。以及在一些极其严苛的场景下，比如金融、补贴、诈骗等。，模型的判断依据和理由就变得尤为重要。

机器学习的可解释性应运而生，并逐渐应用于工业场景。但在一些黑箱度较高的模型中，如深度神经网络，很难有效解释。随着机器学习可解释技术的不断发展，问题逐渐被克服。然而，传统的可解释技术更多地依赖于特征和结果变量之间的相关性，并可能检测到一些相反甚至病态的解释关系。同时，你不能回答“如果一个干预发生了变化，模型的决定或判断是什么？”这种反事实的相关问题。

因果推理技术是研究干预对结果影响的一种特殊方法。通常我们把相关性看成是一种无向关系(特征和结果会相互影响，如果一方被调整，另一方也会相应改变)，而把因果关系看成是一种有向关系(特征决定结果，只有特征的变化才会改变结果，而没有反向关系)。因果关系在多个场景中通常是稳定的，比相关性受到的干扰小。所以基于因果关系的决策或判断更加稳定，这也是我们希望机器学习方法能够学习的关系。我们希望机器学习的方法是判断一个物体是猫，因为它看到的是毛发、胡须、脚掌肉垫、没有虎皮纹的特征。不是因为猫身边有毛线球，猫砂，铲屎官，而是狗足够多。)

反事实估计和反事实推理是因果推理技术的重要组成部分。(个人理解)因果推断可以理解为想回答，1)什么原因(为什么)；2)如果……回答如果必须基于各种干预的结果。观察中缺乏反事实结果是因果推理的根本问题。与估计因果效应不同(此类方法主要解决如何消除偏差和估计反事实，并以此为基础判断不同干预下结果的差异)，基于因果关系的机器学习可解释方法主要基于反事实解释，“模型在其他场景(干预)下会做出什么样的决策或判断？”来展示机器学习模型学习到的因果关系。

朱迪亚·珀尔曾阐述了可解释性的不同层次，并强调反事实解释的生成是最高层次。Pearl的可解释性水平大致可以分为以下三层，

在社区里，我看到了很多精彩的文章，详细介绍了传统的机器学习可解释技术。本文(系列)将详细阐述基于因果关系的机器学习的可解释方法。

基于因果关系的机器学习的解释方法大致可以分为三类:基于模型的方法、基于样本的方法和因果关系确认相关方法(引用文章中提到的其他部分因方向不重要而省略)。

基于模型的解释方法主要是从因果效应的角度拆分模型各部分的功能。比如计算深度神经网络第n层和第m个神经元的变化引起的平均因果效应。与传统的可解释方法相比，这种方法可以回答“神经网络的一个神经元对最终输出有多大的因果作用？”以此来衡量模型各个组成部分的重要性，并给出一些量化的结果。

基于模型的方法可以大致分为两类:估计因果效应和近似构造。如上所述，可以通过计算每个神经元(通常是一个组件，而不是这样一个细节)对输出变量的因果作用来确定组件的重要性。近似构造法，通过生成扰动样本，构造一个二分图，其中不动点是输入特征的元素，输出结果的元素，边是元素之间的影响关系。通过对二分图的划分，得到输入输出要素之间影响密切的子成分，进而说明模型的决策过程和判断依据。

基于样本的解释方法旨在通过寻找样本实例来解释模型的决策和判断过程。反事实样本是在现有事实样本的基础上进行修改，以推断和想象可能的结果。其中，最典型的方法是反事实解释。这种方法是通过对已有样本的特征进行极小的改变，得到预期的反事实结果，并收集这些稍有改变的样本，来解释模型的决策。例如，一个用户从平台上丢失了。我们尽可能少的改变他的特征，这样模型预测他会保持。观察特征的变化，并在此基础上进行解释。这里我们还是用扰动的概念，用最小扰动得到的可解释样本，也就是反事实估计量。反事实估计并不真正干扰样本，而是通过模型的预测来模拟人类的想象力，因此处于因果阶梯的第三级。

生成反事实解释器的方法大致可以分为六类，包括启发式方法、加权方法、基于多样性的方法、混合整数规划方法、基于原型的方法和基于GAN的方法。启发式方法主要使用距离测度寻找最小扰动，而加权方法在距离测度中给每个特征维度分配不同的权重(权重由ANOVA F-value得到)。基于混合整数规划的方法主要用于分类特征较多的场景。通过其他方法生成的反事实样本可能会生成分类特征的连续值，从而导致不合理的特征。然而，通过混合整数规划，可以生成合理的反事实样本。基于原型法，通过寻找一个有反事实结果的目标样本来确定生成方向，加速了生成算法的收敛(有反事实结果的样本不能直接选取，因为它的扰动可能很大)。基于GAN生成反事实的方法有很多，简单的是基于conditionalGAN，以期望的反事实为标签生成反事实样本。

基于因果推理(反事实样本)的模型可解释性方法已经越来越多地应用于各种场景。接下来，我们来看两个来自自然语言处理和推荐系统场景的案例。

识别重复问题是问题搜索场景中的一项重要任务，图中有两句话被识别为重复问题。右边的柱状图是用SHAP值计算的单词重要性，可以看出“朋友”这个词的重要性并没有排在第一位。通过干扰Q2产生反事实样本，我们发现“我如何帮助一个

在产品推荐的情况下，还需要反事实的可解释性。比如，当我们看到一个商品作为top1候选推荐给用户时，我们可能想知道哪些用户行为影响了这个结果，然后通过改变一些行为来改变推荐结果。图中推荐系统推荐顶1位置的背包。通过算法识别出的“最小可移除行为集”(反事实中的最小扰动)，可以看出“购买阿迪达斯登山鞋，评论尼康相机是很好的徒步伴侣，对Intenso充电宝给予很高的评价”使得推荐系统决定将狼爪的背包放在首位(因为种种迹象表明爱丽丝喜欢徒步)。如果删除这些行为，iPad Air的排名就会变成top1。

在不同的场景下，因果可解释方法仍然可能受到特定模型的限制，并且存在一些时间复杂度问题。除此之外，还有很多问题需要解决。后面会介绍一些具体的方法。

下面简单介绍一下如何评价基于因果机器学习的可解释性方法以及相应的评价指标。不同类别的解释方法有其独特的评价标准。首先，介绍基于反事实的可解释方法的评价标准。因为没有反事实的地面真值，所以无法直接检验反事实样本的质量。因此，一些指标是通过启发式定义的，以确保生成的反事实符合预期，并具有预期的属性。

还有其他面向模型的可解释方法和公平性评价指标。这些方法的评价指标还是一个需要攻克的课题，这里就不一一介绍了。感兴趣的同学可以参考一下语录。

j .珀尔。从因果革命的七个火花看机器学习的理论障碍。CoRR，ABS/1801.04016，2018。

[2]珀尔，j。麦肯齐D. (2018)。原因之书:因果的新科学。基础书籍。

[3]，，，申迪王，，迦，雷震。可解释人工智能中的反事实解释:教程。ACM SIGKDD知识发现和数据挖掘会议教程(KDD 2021)。

[4] D. Alvarez-Melis和T. Jaakkola。解释黑盒序列对序列模型预测的因果框架。《2 017自然语言处理经验方法会议论文集》，412–421页，丹麦哥本哈根，2017年9月。计算语言学协会。

[6]吴，t，里贝罗，M. T .，j .，& amp焊接，D. S. (2021)。聚合汁:为解释、评估和改进模型生成反事实。计算语言学协会第80届59届年会论文集。

[5]a .加齐马汀，o .巴拉劳，r .萨哈·罗伊，& amp威库姆，G. (2020，1月)。PRINCE:推荐系统88中带有反事实解释的提供方可解释性。《第13届网络搜索和数据挖掘国际会议论文集》(第196-204页)。