什么是 AI 可解释性？

AI 模型使用复杂的数据输入、算法、逻辑、数据科学和其他流程网络来返回洞察分析。模型越复杂，人类就越难理解其洞察分析的产生过程—即使设计和构建模型的就是人类。可解释模型是指其决策能被用户轻松理解的模型。

AI 的应用范围正在不断扩大。使用大型语言模型 (LLM) 的系统正在成为日常生活的常规组成部分，这涉及从智能家居设备到信用卡欺诈检测，再到 ChatGPT 和其他生成式 AI 工具的广泛应用，随着高度复杂的模型（包括深度学习算法和神经网络）变得越来越普遍，AI 的可解读性变得越来越重要。

此外，AI 系统和机器学习算法在医疗保健、金融和其他涉及关键或改变生活的决策的行业中也越来越普遍。面对如此高的风险，公众需要相信结果是公平可靠的。这种信任取决于对 AI 系统如何得出预测和做出决策的理解。

白匣 AI 模型的输入和逻辑易于观察和理解。例如，基本的决策树显示了每个步骤之间的清晰流程，一般人不难解读。白匣模型倾向于使用更易于解释的线性决策系统，但会导致准确性较低，或洞察分析或应用较少。

黑匣 AI 模型更加复杂，其内部运作的透明度较低。用户通常不知道模型是如何得出其结果的。这些更复杂的模型往往更加准确和精确。但由于它们难以或无法理解，人们对其可靠性、公平性、偏见和其他道德问题产生了担忧。让黑匣模型更易于解读，是建立对其使用信任的一种方法。

AI 的可解释性侧重于理解 AI 模型的内部运作，而 AI 的可解释性则旨在为模型的输出提供理由。

可解读性是关于透明度的，允许用户理解模型的架构、它使用的功能以及它如何将它们组合起来以提供预测。可解读模型的决策过程很容易被人类理解。更高的可解读性需要更多地披露其内部运作方式。

可说明性事关验证，或为模型的输出提供依据，通常是在模型做出预测之后。可说明的人工智能 (XAI) 用于识别导致结果的因素。可以使用各种可说明性方法来呈现模型，令使用自然语言的人类清楚地了解其复杂过程和底层数据科学。

AI 的可解释性有助于调试模型、检测偏见、确保符合法规并与用户建立信任。它让开发者和用户了解他们的模型如何影响人类和企业，并以负责任的方式进行开发。

可解读性之所以重要，有以下几个原因：

• 信任
• 偏见与公平
• 调试
• 法规一致性
• 知识转让

没有可解释性，用户就会被蒙在鼓里。这种问责制的缺失会削弱公众对技术的信任。当利益相关者完全理解模型如何做出决策时，他们就更有可能接受模型的输出结果。模型的可解释性使其具有透明度和清晰度，从而使用户在医疗诊断或财务决策等实际应用中可以放心地依赖它。

训练数据中的偏见会被 AI 模型放大。由此产生的歧视性结果不仅延续了社会不平等，还使组织面临法律和声誉风险。可解释的 AI 系统可以帮助检测模型是否根据种族、年龄或性别等受保护特征做出了有偏见的决定。可解释性使模型开发人员能够识别和减少歧视性模式，有助于确保更公平的结果。

可解释的机器学习使 ML 算法和 ML 模型的创建者能够识别和修正错误。没有一个机器学习模型从一开始就是 100% 准确的。如果不了解 AI 的推理过程，调试就是一个低效而危险的过程。通过了解 ML 模型的工作原理，开发人员和数据科学家可以找出错误预测的来源，并优化模型的性能。这一过程反过来又提高了其整体可靠性，并有助于优化。

一些法规，如美国的《平等信用机会法》(ECOA) 或欧盟的《通用数据保护条例》(GDPR)，要求自动系统做出的决定必须透明且可解释。越来越多针对 AI 的法规，包括欧盟的欧盟 AI 法案，正在为 AI 的开发和使用制定标准。可解释的 AI 模型可以为其决策提供清晰的解释，帮助满足这些监管要求。可解释性还有助于解决审计问题、责任问题和数据隐私保护问题。

如果没有可解释性，开发人员和研究人员可能难以将 AI 的洞察分析转化为可操作的结果，或随着技术的变化而不断进步。可解释性使利益相关者之间更容易传递有关模型基础和决策的知识，并利用其知识为其他模型开发提供信息。

斯坦福大学研究员 Nigam Shah 认为可解释性主要有三种类型： 工程师可解释性、因果可解释性和信任诱导可解释性。¹

这种类型侧重于 AI 模型是如何实现输出的。它涉及了解模型的内部运作，与需要调试或改进模型的开发人员和研究人员相关。

这种类型侧重于模型产生输出的原因。这包括确定对模型预测影响最大的因素，以及这些因素的变化如何影响结果。

此类型侧重于提供解释，以建立对模型输出的信任。它涉及以一种用户可以理解并能产生共鸣的方式来呈现模型的决策过程，即使他们没有专业技术知识也是如此。

有几个特征会影响 AI 模型的可解释性：

• 固有与事后
• 本地与全球
• 特定于模型和与模型无关

内在可解释性是指本身就可解释的模型，如决策树和线性回归模型。它们的结构简单易懂。然而，事后可解释性涉及将解释方法应用于预先训练的模型，以解释其行为。事后解释最适用于较复杂或黑匣模型。

局部可解释性侧重于解释单个预测结果，有助于说明模型得出特定结果的原因。全局可解释性旨在了解模型在整个数据集中的行为，显示其整体模式和趋势。

针对特定模型的可解释性方法利用模型的内部结构来提供解释。与模型无关的方法适用于任何类型的模型。

有多种方法可以建立 AI 模型的可解释性。

有些模型很简单，足以进行内在解释。这些本质上可解释的模型依赖于简单明了的结构，如决策树、基于规则的系统和线性回归。人类很容易理解线性模型的决策模式和过程。

更复杂的模型需要事后解读，其中将解读方法应用于预训练的模型以解释模型的输出。一些常见的事后解读方法包括：

• 与模型无关的局部可解释性解释 (LIME)
• Shapley Additive exPlanations (SHAP)
• 部分依存图 (PDP)
• 个人条件期望 (ICE) 图

LIME 一次只关注一个预测，有助于解释模型的预测。为此，它创建了一个更简单、可解释的模型，模仿复杂模型的行为来进行特定预测。它使用特征归因来确定特定特征（如形状、颜色或其他数据点）对模型输出的影响。例如，它采用特定的预测，然后通过稍微调整或调整特征值来生成许多类似的实例。在此基础上，它会根据这些"扰动"特征值及其结果创建一个更简单、更易解释的模型。简而言之，LIME 为复杂模型的行为方式提供了简化的局部解释。

SHAP 是一种合作博弈论式的可解释性方法，它考虑了所有可能的特征组合及其对预测的影响。它根据每个特征在不同情况下对预测的贡献程度，为每个特征分配一个值（称为夏普利值）。SHAP 可与任何机器学习系统配合使用。它既能对机器学习算法提供的单个预测进行局部解释，也能对模型整体进行全局解释。然而，由于其计算复杂性，SHAP 可能是一种速度较慢、成本较高的方法。

PDP 显示特性在整个数据集中平均如何影响模型的预测。它们有助于在保持所有其他特性不变的情况下，可视化特性与模型输出之间的关系。此方法对于解读少量特性或利益相关者想要关注特定的特性子集时很有用。

ICE 图显示了预测结果对特定特性的依赖程度。它们与 PDP 类似，但显示的是单个实例的特性与模型的输出之间的关系，而不是在数据集求平均值。它们可以通过提供模型行为的更详细视图来补充 PDP，例如，通过突出可变性和显示实例级别的特性之间的交互。当计算机科学研究人员或利益相关者想要识别模型运转中的异常值或异常模式时，它们非常有用。

对于使用 AI 模型做出影响个人或社会决策的任何行业来说，AI 可解读性都非常重要。与 AI 可解读性相关的一些行业包括：

可解读性面临一些挑战和局限性。

模型性能和可解读性之间通常存在权衡。与深度神经网络等复杂的黑匣模型相比，较简单的或白匣模型更容易解读，但准确性可能较低。

可解读性也因缺乏标准化而受到影响。不同的方法可以为同一模型提供不同的解释，因此如果没有正式的框架，就很难对它们进行比较和验证。而可解读性往往是主观的。对一个用户来说可视作容易理解的内容对另一个用户来说可能不够易懂。

一些专家说，可解释性在某些情况下是不必要的，在另一些情况下可能会适得其反。如果模型是私人的或没有重大影响的，或者问题已经是许多公认研究的主题，那么更大的可解释性可能是多余的或不必要的。在某些情况下，更高的可解释性可能会带来安全问题，因为更高的透明度可能会让坏人利用系统，或让用户以破坏系统功效的方式玩弄系统。