KL散度

核心观点:KL散度度量两个概率分布间的差异,是变分推断和知识蒸馏的核心工具。

🎯 这 20% 能解决哪些问题

你遇到的困惑本质原因马上能改的动作
KL 不对称,该用哪个方向前向 KL 保覆盖(mean-seeking),反向 KL 保模式(mode-seeking)多维/多峰目标要覆盖全部模式用前向;拟合单峰、宁可丢尾巴用反向
蒸馏损失越训越不确定软标签与硬标签方向混用蒸馏是 KL(p_老师‖p_学生),带温度平方补偿;硬标签监督仍是交叉熵
两个分布不重叠时 JS 也顶到上限、梯度消失JS 在有界处饱和用 Wasserstein 距离(EMD);至少先把支撑集交集打开
KL 算出来是负数或 NaN对零概率取 log,或把 KL 当成了距离概率先夹 eps;归约方式用 mean;报告时注明不是度量(不满足三角不等式)
上线后分布漂移怎么量化没监控训练与线上分布的差异按特征分桶算 PSI(本质是 KL 的对称变体),超 0.25 告警
VAE 里那项到底在干什么用反向 KL 把后验向先验压记住 ELBO = 重建项 − KL(q(z|x)‖p(z)),KL 越小越接近先验

📊 KL散度基本概念

定义

概念公式意义
KL散度DKL(P‖Q) = ∑P(x)log[P(x)/Q(x)]分布P与Q的差异
非对称性DKL(P‖Q) ≠ DKL(Q‖P)方向依赖
非负性DKL(P‖Q) ≥ 0始终非负

KL散度性质

graph TB
    subgraph KL散度性质
        A1["非负性<br/>DKL(P‖Q) ≥ 0"]
        A2["非对称性<br/>DKL(P‖Q) ≠ DKL(Q‖P)"]
        A3["为0当且仅当<br/>P=Q几乎处处"]
        A4["不满足三角不等式<br/>不是距离"]
    end    
    A1 & A2 & A3 & A4
    
    style A1 fill:#ffebee

📈 常见KL散度

高斯分布KL散度

分布KL散度
一元高斯½[log(σ₂²/σ₁²) + (σ₁²+(μ₁-μ₂)²)/σ₂² - 1]
多元高斯½[log

伯努利分布KL散度

伯努利KL散度:
DKL(P‖Q) = p log(p/q) + (1-p) log((1-p)/(1-q))

🔗 与其他散度的关系

散度关系

graph TB
    subgraph 散度关系
        A1["KL散度<br/>DKL(P‖Q)"]
        A2["反向KL<br/>DKL(Q‖P)"]
        A3["JS散度<br/>JSD(P,Q)"]
        A4["Wasserstein距离<br/>W(P,Q)"]
    end    
    A1 & A2 --> A3 --> A4
    
    style A1 fill:#ffebee
散度公式特点
KL散度∑P log(P/Q)非对称
JS散度½DKL(P‖M) + ½DKL(Q‖M), M=(P+Q)/2对称
Wasserstein距离inf E[d(x,y)]度量空间

🤖 机器学习应用

变分自编码器(VAE)

graph TB
    subgraph VAE
        A1["编码器<br/>q(z|x)"]
        A2["解码器<br/>p(x|z)"]
        A3["KL损失<br/>DKL(q(z|x)‖p(z))"]
        A4["重建损失<br/>-log p(x|z)"]
    end    
    A1 --> A2
    A3 & A4 --> A5[总损失]
    
    style A1 fill:#ffebee

知识蒸馏

应用内容意义
教师模型大模型输出软标签
学生模型小模型输出模仿教师
KL损失DKL(学生‖教师)知识传递

强化学习

应用方法意义
策略优化DKL(新策略‖旧策略)约束策略变化
TRPOKL约束优化稳定训练

🎯 核心结论

KL散度核心概念

  1. 定义:分布间的差异度量
  2. 非对称:方向依赖
  3. 非负:最小值为0(分布相同时)
  4. 不是距离:不满足三角不等式
  5. 应用:VAE、知识蒸馏、强化学习

学习路径

KL散度学习四步骤:
1. 基本概念:定义、性质
2. 常见分布:高斯、伯努利
3. 散度关系:KL、JS、Wasserstein
4. 应用:VAE、知识蒸馏

🎓 实战场景(TIL)

  • 场景:分类模型在少数类上全预测为多数类。本质:反向 KL 容忍丢尾巴,损失里没体现。要点:改用前向 KL(交叉熵)并对少数类加权,或直接用代价敏感损失。
  • 场景:知识蒸馏后学生模型反而变差。本质:温度只调推理不调损失,KL 量级随温度变小。要点:蒸馏损失乘 T²,并固定老师输出使用 log_softmax 而非二次 softmax。
  • 场景:监控到 KL 从 0.02 涨到 0.15,却没定位到哪个特征变了。本质:只看联合指标。要点:逐特征分桶算 PSI,找出偏移最大的维度,再回溯上游数据源与口径变更。
  • 场景:策略优化里新旧策略 KL 突然变大。本质:单步更新过猛。要点:用 KL 约束或 clip(PPO/TRL 同思路),并设 KL 上限作为早停条件。

📋 一页速查

要什么记这一行
定义KL(p‖q) = ∑ p log(p/q) = E_p[log p − log q]:用 q 代替 p 平均多付的比特数
与熵的关系H(p,q) = H(p) + KL(p‖q):交叉熵 = 熵 + KL
基本性质非负(Gibbs 不等式);=0 当且仅当同分布;不对称;不是距离
方向选择前向 KL(p‖q) 覆盖所有模式;反向 KL(q‖p) 抓主模式、避开尾巴
高斯闭式KL(N(μ₁,σ₁²)‖N(μ₂,σ₂²)) = log(σ₂/σ₁) + (σ₁²+(μ₁-μ₂)²)/(2σ₂²) - 1/2
JS 散度JS(p,q) = ½KL(p‖m) + ½KL(q‖m),m=(p+q)/2:对称、有界
Wasserstein支撑不重叠仍有意义,代价是计算量与实现复杂度
实现陷阱用 log_softmax + kl_div(log_input, target, reduction='batchmean');先夹 eps 再取 log
漂移监控PSI = ∑(q−p)ln(p/q),逐分桶累加;<0.1 正常,0.1~0.25 观察,>0.25 告警

🔗 相关链接


📚 参考文献

  1. 《信息论基础》- Thomas Cover
  2. 《深度学习》- Ian Goodfellow
  3. 《变分推断》
  4. 《知识蒸馏》
  5. 《强化学习》
  6. 《KL散度》
  7. 《JS散度》
  8. 《Wasserstein距离》