可解释性核心 20% — 先问”给谁看、要解决什么”
一句话：90% 的可解释性项目失败，是因为一开始没定义受众与用途。给监管看、给用户看、给自己调试，三种场景该用的方法和验收标准完全不同。
🎯 这 20% 能解决哪些问题
| 常见困惑 | 本质 | 本页答案 |
|---|
| SHAP 图很好看，但能当因果解释吗 | 混淆相关性与因果 | 见「三个必须承认的边界」 |
| 全局解释还是局部解释该选哪个 | 没分清用途 | 见「方法选择决策表」 |
| 模型越准越不可解释，只能二选一吗 | 误判内在解释的价值 | 见「内在可解释模型」 |
| 解释图每次都变，正常吗 | 忽视稳定性 | 见「四项评估标准」 |
| 银行拒贷必须给客户理由，用哪个方法 | 合规场景有特定要求 | 见「合规场景做法」 |
一、先分清两类解释
| 类型 | 含义 | 优点 | 代价 |
|---|
| 内在可解释 | 模型结构本身就易懂（线性、树、规则） | 解释即模型本身，不会”编理由” | 表达能力受限 |
| 事后解释 | 对黑箱模型做事后归因 | 不牺牲精度 | 解释只是近似，可能不忠实 |
判断口诀：如果解释必须完全可信（医疗、司法、信贷拒贷），优先选内在可解释模型；如果只是辅助调试与沟通，事后解释够用。
二、方法选择决策表
| 需求 | 推荐 | 理由 |
|---|
| 表格数据、需全局重要性 | Permutation Importance / SHAP 全局 | 与模型无关、可比较 |
| 单条样本需要归因 | SHAP（局部）/ LIME | 局部保真度高 |
| 需要”怎么做才能改变结果” | 反事实解释 | 直接给行动建议 |
| 图像/文本模型看关注区域 | 显著性图 / 注意力权重 | 直观，但不等于解释 |
| 强合规要求 | 决策树、广义加性模型（GAM）、评分卡 | 天然可审计 |
选择顺序：先看合规是否强制 → 再看受众是专家还是终端用户 → 最后才比算法精度。
三、四个核心方法要点
| 方法 | 原理 | 优点 | 局限 |
|---|
| Permutation | 打乱某特征看指标下降 | 简单、模型无关 | 特征相关时高估 |
| SHAP | Shapley 值，满足可加与一致性 | 理论完备、局部+全局 | 计算贵、相关特征分摊不确定 |
| LIME | 局部线性近似 | 快、任意模型 | 采样随机，结果不稳定 |
| 反事实 | 找最小改动使预测翻转 | 可操作 | 可能给出不可行建议 |
注意力不等于解释：注意力权重高只说明模型”看了这里”，不说明”因此这样判断”。已有大量实验证明注意力分布可被扰动而预测不变——用它做解释要谨慎，最好配合消融验证。
四、三个必须承认的边界
- 相关不是因果：SHAP 说”这个特征贡献大”，不等于”改这个特征结果就会变”。
- 解释是模型的解释，不是现实的解释：模型学错了，解释也会很自洽地解释错误。
- 特征相关会分摊归因：两个高度相关特征，SHAP 会把贡献随机分给其中一个。
五、四项评估标准
| 标准 | 含义 | 怎么测 |
|---|
| 忠实度 | 解释是否反映模型真实行为 | 删除高贡献特征，看预测是否真下降 |
| 稳定性 | 输入微扰后解释是否稳定 | 加小噪声重跑，比较排名一致性 |
| 一致性 | 相同逻辑的样本解释是否相似 | 构造等价样本对比 |
| 可用性 | 人能否据此做出正确判断 | 用户实验（最容易被跳过） |
六、合规场景做法
| 场景 | 做法 |
|---|
| 信贷拒贷 | 用评分卡或 GAM + 反事实（“若收入提高 X 可获批”） |
| 医疗辅助诊断 | 显著性图 + 相似病例检索，医生签字确认 |
| 内容推荐 | 给用户的解释要简洁可行动，不要给特征权重 |
| 内部风控 | SHAP 全局 + 局部，供审核员查因 |
监管常用要求：能说明”主要影响因素”，能给”改变结果的路径”，能留档可复现。
七、五个常见误区
| 误区 | 纠正 |
|---|
| 有 SHAP 图就算可解释 | 没有受众与验收标准，图只是装饰 |
| 解释越详细越好 | 终端用户需要 1–3 条关键理由 |
| 注意力权重就是解释 | 需消融实验佐证 |
| 事后解释可以替代可解释模型 | 合规场景优先内在可解释 |
| 解释一次就够 | 模型更新后解释必须重算 |
📋 一页速查
| 问题 | 答案 |
|---|
| 第一步 | 定义受众与用途 |
| 强合规场景选什么 | 决策树 / GAM / 评分卡 |
| 单样本归因首选 | SHAP 局部 |
| 要给行动建议 | 反事实解释 |
| 注意力权重能当解释吗 | 不能，需消融验证 |
| 怎么验证解释 | 忠实度 + 稳定性 + 用户实验 |
🔗 相关链接