信息熵

核心观点:信息熵是度量不确定性的数学工具,是信息论的核心概念。

🎯 这 20% 能解决哪些问题

你遇到的困惑本质原因马上能改的动作
看不懂交叉熵损失为何从 0.69 开始没把损失读成「平均编码长度」记住二分类猜随机时 H = -log 0.5 = 0.693;损失低于这个才算学到东西
分类模型过于自信、实际不准预测分布熵太低,与真实频率不一致画可靠性图算 ECE,用温度缩放后处理;训练时用 label smoothing 提高目标熵
大模型生成重复、输出选项单一输出分布熵坍塌(模式崩塌)监控 batch 平均熵与 token 种类数;调 temperature/top_p,而不是只改提示词
特征很多却不知删哪个只看方差,不看信息量先删近零熵的常量/低熵列;高基数低熵列改频率编码而不是直接 one-hot
决策树选特征拿不准信息增益偏向多取值特征用增益比或互信息选择,并对连续特征先分箱

📊 信息熵基本概念

定义

概念公式意义
自信息I(x) = -log₂P(x)单个事件的信息量
信息熵H(X) = -∑P(x)log₂P(x)平均不确定性

熵的性质

graph TB
    subgraph 熵性质
        A1["非负性<br/>H(X) ≥ 0"]
        A2["确定性<br/>P=1时H=0"]
        A3["最大熵<br/>均匀分布最大"]
        A4["可加性<br/>独立变量熵可加"]
    end    
    A1 & A2 & A3 & A4
    
    style A1 fill:#ffebee

📈 常见分布的熵

分布熵特点
伯努利-plog₂p-(1-p)log₂(1-p)二元分布
均匀分布log₂n最大熵
高斯分布½log₂(2πeσ²)连续分布

最大熵原理

graph TB
    subgraph 最大熵原理
        A1["约束<br/>已知部分信息"]
        A2["目标<br/>选择最大熵分布"]
        A3["结果<br/>最不确定分布"]
    end    
    A1 --> A2 --> A3
    
    style A1 fill:#ffebee

🔗 联合熵与条件熵

熵的链式法则

概念公式意义
联合熵H(X,Y) = -∑P(x,y)logP(x,y)联合不确定性
条件熵H(X|Y) = H(X,Y) - H(Y)Y给定后X的不确定性
链式法则H(X,Y) = H(X) + H(X|Y)联合=条件+边缘

🤖 机器学习应用

交叉熵损失

graph TB
    subgraph 交叉熵
        A1["二分类<br/>H = -[ylogŷ + (1-y)log(1-ŷ)]"]
        A2["多分类<br/>H = -∑yᵢlogŷᵢ"]
    end    
    A1 & A2
    
    style A1 fill:#ffebee

决策树

应用内容意义
信息增益H(D) - H(D|A)特征选择
基尼不纯度1-∑pᵢ²分裂标准

🎯 核心结论

信息熵核心概念

  1. 自信息:单个事件的信息量
  2. 信息熵:平均不确定性
  3. 最大熵:最不确定分布
  4. 链式法则:联合熵分解
  5. 应用:损失函数、特征选择

学习路径

信息熵学习四步骤:
1. 自信息:定义、性质
2. 信息熵:定义、最大熵原理
3. 联合熵与条件熵:链式法则
4. 应用:交叉熵、决策树

🎓 实战场景(TIL)

  • 场景:新模型 loss 0.69 就开工训练,一周后仍是 0.68。本质:0.693 是均匀猜测的熵下界,模型几乎没学到信息。要点:把基准熵写进评估报告,只有明显低于基准的提升才算有效。
  • 场景:生成结果反复输出同一句话。本质:采样温度太低使分布熵接近 0。要点:用熵而不只用人眼看输出多样性;先恢复温度/top_p,再调提示词。
  • 场景:埋点特征 200 列,模型不涨反降。本质:大量列熵近于 0(几乎没有信息量)。要点:按列计算经验熵排序,先删熵低于阈值的列,再看互信息。
  • 场景:上线后线上指标异常下跌。本质:输入分布变尖(熵下降),模型只见过高熵场景。要点:把输入分布熵作为漂移监控项,与 PSI 一起报警。

📋 一页速查

要什么记这一行
自信息I(x) = -log₂ P(x):越稀有的事件信息量越大(单位 bit,自然对数则为 nat)
信息熵H(X) = -∑ P(x)log₂P(x):最优平均码长的下界
最大熵均匀分布时 H = log₂n;二分类 H ≤ 1 bit,p=0.5 取等
联合与条件H(X,Y) = H(X) + H(Y|X);知道信息只会减少不确定性(一般不增加)
链式法则H(X₁…Xₙ) = ∑ H(Xᵢ | X₁…Xᵢ₋₁),语言模型逐 token 损失就是它
交叉熵H(p,q) = H(p) + KL(p‖q);q 固定为真实分布时就是熵
连续型微分熵可为负,不具备坐标不变性;比较前先做标准化
实现陷阱概率先夹在 [eps, 1-eps] 再取 log;批量均值用 mean 而不是 sum 约分

🔗 相关链接


📚 参考文献

  1. 《信息论基础》- Thomas Cover
  2. 《信息论与编码》- 傅祖芸
  3. 《Elements of Information Theory》
  4. 《Information Theory, Inference, and Learning Algorithms》
  5. 《信息熵》
  6. 《最大熵原理》
  7. 《交叉熵》
  8. 《决策树》