信息熵
核心观点:信息熵是度量不确定性的数学工具,是信息论的核心概念。
🎯 这 20% 能解决哪些问题
| 你遇到的困惑 | 本质原因 | 马上能改的动作 |
|---|
| 看不懂交叉熵损失为何从 0.69 开始 | 没把损失读成「平均编码长度」 | 记住二分类猜随机时 H = -log 0.5 = 0.693;损失低于这个才算学到东西 |
| 分类模型过于自信、实际不准 | 预测分布熵太低,与真实频率不一致 | 画可靠性图算 ECE,用温度缩放后处理;训练时用 label smoothing 提高目标熵 |
| 大模型生成重复、输出选项单一 | 输出分布熵坍塌(模式崩塌) | 监控 batch 平均熵与 token 种类数;调 temperature/top_p,而不是只改提示词 |
| 特征很多却不知删哪个 | 只看方差,不看信息量 | 先删近零熵的常量/低熵列;高基数低熵列改频率编码而不是直接 one-hot |
| 决策树选特征拿不准 | 信息增益偏向多取值特征 | 用增益比或互信息选择,并对连续特征先分箱 |
📊 信息熵基本概念
定义
| 概念 | 公式 | 意义 |
|---|
| 自信息 | I(x) = -log₂P(x) | 单个事件的信息量 |
| 信息熵 | H(X) = -∑P(x)log₂P(x) | 平均不确定性 |
熵的性质
graph TB
subgraph 熵性质
A1["非负性<br/>H(X) ≥ 0"]
A2["确定性<br/>P=1时H=0"]
A3["最大熵<br/>均匀分布最大"]
A4["可加性<br/>独立变量熵可加"]
end
A1 & A2 & A3 & A4
style A1 fill:#ffebee
📈 常见分布的熵
| 分布 | 熵 | 特点 |
|---|
| 伯努利 | -plog₂p-(1-p)log₂(1-p) | 二元分布 |
| 均匀分布 | log₂n | 最大熵 |
| 高斯分布 | ½log₂(2πeσ²) | 连续分布 |
最大熵原理
graph TB
subgraph 最大熵原理
A1["约束<br/>已知部分信息"]
A2["目标<br/>选择最大熵分布"]
A3["结果<br/>最不确定分布"]
end
A1 --> A2 --> A3
style A1 fill:#ffebee
🔗 联合熵与条件熵
熵的链式法则
| 概念 | 公式 | 意义 |
|---|
| 联合熵 | H(X,Y) = -∑P(x,y)logP(x,y) | 联合不确定性 |
| 条件熵 | H(X|Y) = H(X,Y) - H(Y) | Y给定后X的不确定性 |
| 链式法则 | H(X,Y) = H(X) + H(X|Y) | 联合=条件+边缘 |
🤖 机器学习应用
交叉熵损失
graph TB
subgraph 交叉熵
A1["二分类<br/>H = -[ylogŷ + (1-y)log(1-ŷ)]"]
A2["多分类<br/>H = -∑yᵢlogŷᵢ"]
end
A1 & A2
style A1 fill:#ffebee
决策树
| 应用 | 内容 | 意义 |
|---|
| 信息增益 | H(D) - H(D|A) | 特征选择 |
| 基尼不纯度 | 1-∑pᵢ² | 分裂标准 |
🎯 核心结论
信息熵核心概念
- 自信息:单个事件的信息量
- 信息熵:平均不确定性
- 最大熵:最不确定分布
- 链式法则:联合熵分解
- 应用:损失函数、特征选择
学习路径
信息熵学习四步骤:
1. 自信息:定义、性质
2. 信息熵:定义、最大熵原理
3. 联合熵与条件熵:链式法则
4. 应用:交叉熵、决策树
🎓 实战场景(TIL)
- 场景:新模型 loss 0.69 就开工训练,一周后仍是 0.68。本质:0.693 是均匀猜测的熵下界,模型几乎没学到信息。要点:把基准熵写进评估报告,只有明显低于基准的提升才算有效。
- 场景:生成结果反复输出同一句话。本质:采样温度太低使分布熵接近 0。要点:用熵而不只用人眼看输出多样性;先恢复温度/
top_p,再调提示词。
- 场景:埋点特征 200 列,模型不涨反降。本质:大量列熵近于 0(几乎没有信息量)。要点:按列计算经验熵排序,先删熵低于阈值的列,再看互信息。
- 场景:上线后线上指标异常下跌。本质:输入分布变尖(熵下降),模型只见过高熵场景。要点:把输入分布熵作为漂移监控项,与 PSI 一起报警。
📋 一页速查
| 要什么 | 记这一行 |
|---|
| 自信息 | I(x) = -log₂ P(x):越稀有的事件信息量越大(单位 bit,自然对数则为 nat) |
| 信息熵 | H(X) = -∑ P(x)log₂P(x):最优平均码长的下界 |
| 最大熵 | 均匀分布时 H = log₂n;二分类 H ≤ 1 bit,p=0.5 取等 |
| 联合与条件 | H(X,Y) = H(X) + H(Y|X);知道信息只会减少不确定性(一般不增加) |
| 链式法则 | H(X₁…Xₙ) = ∑ H(Xᵢ | X₁…Xᵢ₋₁),语言模型逐 token 损失就是它 |
| 交叉熵 | H(p,q) = H(p) + KL(p‖q);q 固定为真实分布时就是熵 |
| 连续型 | 微分熵可为负,不具备坐标不变性;比较前先做标准化 |
| 实现陷阱 | 概率先夹在 [eps, 1-eps] 再取 log;批量均值用 mean 而不是 sum 约分 |
🔗 相关链接
📚 参考文献
- 《信息论基础》- Thomas Cover
- 《信息论与编码》- 傅祖芸
- 《Elements of Information Theory》
- 《Information Theory, Inference, and Learning Algorithms》
- 《信息熵》
- 《最大熵原理》
- 《交叉熵》
- 《决策树》