公平性核心 20% — 先接受”公平”不止一种
一句话：公平性最大的坑不是技术，而是同时满足多种公平定义在数学上不可能（Chouldechova / Kleinberg 不可能性定理）。所以第一步不是选算法，而是选”这个业务最在乎哪种伤害”。
🎯 这 20% 能解决哪些问题
| 常见困惑 | 本质 | 本页答案 |
|---|
| 为什么删掉性别字段还是有偏见 | 混淆直接特征与代理特征 | 见「偏见从哪来」 |
| 公平指标都达标了还是被判歧视 | 指标之间互斥 | 见「四条定义与冲突」 |
| 该在数据层还是模型层修 | 不知道介入时机 | 见「三种介入时机」 |
| 提高少数群体准确率后整体下降怎么办 | 把公平当零和 | 见「精度—公平权衡」 |
| 上线后怎么持续监控 | 只做一次性审计 | 见「持续监控」 |
一、偏见从哪来
graph LR
A["历史数据<br/>既有不平等"] --> B["模型学习<br/>放大模式"]
B --> C["部署决策<br/>影响现实"]
C --> D["产生新数据<br/>反馈循环"]
D --> A
| 类型 | 说明 | 例子 |
|---|
| 历史偏见 | 数据反映过去的不平等 | 招聘数据中女性晋升少 |
| 表征偏见 | 某群体样本过少 | 人脸数据缺少深色皮肤 |
| 测量偏见 | 用代理量代替真实目标 | 用”历史录用”代替”能力” |
| 代理特征 | 与被保护属性高度相关 | 邮编 ≈ 种族，姓名 ≈ 性别 |
关键认知：删掉”性别”列不等于公平，模型会从邮编、兼职经历、用词习惯里把它还原出来。
二、四条主流定义
| 定义 | 判据 | 适合场景 |
|---|
| 人口统计学平等 | 各群体正例比例相同 | 资源分配、配额 |
| 机会均等（TPR 相等） | 各群体”该被选中的人”被选中率相同 | 招聘、信贷（关注不漏选） |
| 预测值均等（PPV 相等） | 被判为正的人中各群体表现相同 | 风险评分（关注不冤枉） |
| 个体公平 | 相似个体得到相似结果 | 小样本、需解释性场合 |
冲突的直观原因：如果两群体基础发生率不同，那么”选择率相同”和”准确率相同”无法同时成立。这不是模型不够好，是数学上不允许。
实践建议：在立项文档中写清”本业务优先保哪个指标、可接受哪个指标让步”。这段话比任何算法都重要。
三、三种介入时机
| 时机 | 手段 | 优点 | 风险 |
|---|
| 预处理 | 重采样、样本加权、重写标签 | 不改模型、通用 | 改动数据分布 |
| 训练中 | 公平正则、对抗去偏、约束优化 | 端到端 | 调参困难、精度下降 |
| 后处理 | 分组阈值、校准 | 最灵活、可解释 | 需要敏感属性、可能被视为”差别对待” |
选择顺序：先做数据体检（看分布）→ 再看能否用后处理（成本最低）→ 最后才动模型训练。
四、评估指标速查
| 指标 | 全称 | 计算 | 越接近 |
|---|
| SPD | 统计 parity 差 | P(Ŷ=1|A=0) − P(Ŷ=1|A=1) | 0 |
| DIR | 差异影响比 | 上式的比值 | 1 |
| EOD | 机会均等差 | TPR(A=0) − TPR(A=1) | 0 |
| AOD | 平均几率差 | (TPR 差 + FPR 差)/2 | 0 |
经验阈值：DIR 在 [0.8, 1.25] 常被视为可接受区间（美国 EEOC 的四五法则）。
五、一份可落地的审计清单
| 阶段 | 动作 |
|---|
| 立项 | 列出受保护属性与”最坏情况是谁受损” |
| 数据 | 各群体样本量、标签分布、缺失率对比 |
| 特征 | 检测与受保护属性的高相关代理特征 |
| 训练 | 至少跑两个公平指标作为基线 |
| 上线前 | 分组阈值与业务规则对齐，记录取舍理由 |
| 上线后 | 每月分组监控 TPR、PPV、申诉率 |
六、精度—公平权衡的真相
- 在基础发生率高的任务中，公平约束几乎不掉精度。
- 在标签本身有噪声的任务中，去偏往往能同时提升泛化（因为去掉的是噪声关联）。
- “公平一定牺牲精度”是常见误解，正确表述是”公平约束下的最优精度 ≤ 无约束最优精度”，差距常小于 1–2 个点。
七、五个真实误区
| 误区 | 纠正 |
|---|
| 数据里没有种族字段就没有种族偏见 | 代理特征会重建 |
| 只要模型准确率高就公平 | 高准确率可与高差异并存 |
| 后处理就是”降低标准” | 是调整决策边界，可保持总体通过率 |
| 公平只在大厂才需要 | 任何影响人的决策（租房、招聘、信贷、医疗）都适用 |
| 一次性审计就够 | 数据漂移会重塑偏见，需持续监控 |
📋 一页速查
| 问题 | 答案 |
|---|
| 为什么公平定义冲突 | 基础发生率不同时，选择率与准确率无法同时对齐 |
| 第一步做什么 | 写清业务优先保哪个指标 |
| 删掉敏感字段够吗 | 不够，代理特征会重建 |
| 最省力的介入 | 后处理（分组阈值/校准） |
| 常用可接受区间 | DIR ∈ [0.8, 1.25] |
| 上线后做什么 | 分组指标月度监控 |
🔗 相关链接