信息论
🗂️ 内容导航
| 名称 | 说明 | 链接 |
|---|
| 信息熵 | 理解信息熵的概念与性质 | 进入 |
| 互信息 | 理解互信息的概念与应用 | 进入 |
| KL散度 | 理解KL散度的概念与应用 | 进入 |
核心观点：信息论研究信息的度量、传输和处理，是通信和数据压缩的理论基础。
📊 信息论体系
graph TB
subgraph 信息度量
I1["信息熵<br/>不确定性"]
I2["条件熵<br/>条件信息"]
I3["互信息<br/>相关性"]
end
subgraph 编码理论
C1["信源编码<br/>数据压缩"]
C2["信道编码<br/>错误纠正"]
C3["率失真<br/>有损压缩"]
end
subgraph 机器学习
M1["交叉熵<br/>损失函数"]
M2["KL散度<br/>分布差异"]
M3["信息瓶颈<br/>表示学习"]
end
I1 & I2 & I3 --> C1 & C2 & C3
C1 & C2 & C3 --> M1 & M2 & M3
style I1 fill:#ffebee
style C1 fill:#e3f2fd
style M1 fill:#e8f5e9
📐 信息度量
自信息
| 概念 | 公式 | 意义 |
|---|
| 自信息 | I(x) = -log₂P(x) | 事件发生的信息量 |
| 单位 | 比特（bit） | 信息度量单位 |
自信息性质：
1. 确定事件：I(x) = 0（没有不确定性）
2. 不可能发生事件：I(x) → ∞
3. 独立事件：I(x,y) = I(x) + I(y)
信息熵
graph TB
subgraph 熵的性质
A1["非负性<br/>H(X) ≥ 0"]
A2["最大熵<br/>均匀分布最大"]
A3["条件减少熵<br/>H(X|Y) ≤ H(X)"]
end
A1 & A2 & A3
style A1 fill:#ffebee
| 分布 | 熵 | 特点 |
|---|
| 均匀分布 | log₂n | 最大熵 |
| 伯努利分布 | -plog₂p-(1-p)log₂(1-p) | 二元分布 |
| 确定分布 | 0 | 最小熵 |
联合熵与条件熵
| 概念 | 公式 | 意义 |
|---|
| 联合熵 | H(X,Y) = -∑P(x,y)logP(x,y) | 联合不确定性 |
| 条件熵 | H(X | Y) = H(X,Y) - H(Y) |
| 链式法则 | H(X,Y) = H(X) + H(X | Y) |
互信息
| 概念 | 公式 | 意义 |
|---|
| 互信息 | I(X;Y) = H(X) - H(X | Y) |
| 性质 | I(X;Y) = I(Y;X) | 对称性 |
互信息应用：
1. 特征选择：选择与目标相关的特征
2. 聚类分析：衡量聚类质量
3. 信道容量：最大传输速率
📦 编码理论
信源编码
graph TB
subgraph 信源编码
A1["无损压缩<br/>哈夫曼编码"]
A2["有损压缩<br/>率失真理论"]
A3["应用<br/>ZIP/JPEG/MP3"]
end
A1 & A2 & A3
style A1 fill:#ffebee
信道编码
| 编码类型 | 特点 | 应用 |
|---|
| 奇偶校验 | 简单检错 | 数据传输 |
| 海明码 | 纠单错 | 内存纠错 |
| 卷积码 | 流式编码 | 无线通信 |
| Turbo码 | 近香农限 | 3G/4G |
香农定理
| 定理 | 内容 | 意义 |
|---|
| 信道编码定理 | 存在速率达容量的编码 | 理论极限 |
| 信源编码定理 | 熵是压缩下界 | 压缩极限 |
信道容量公式：
C = max I(X;Y) = B log₂(1 + S/N)
- C：信道容量
- B：带宽
- S/N：信噪比
🤖 机器学习应用
交叉熵损失
graph TB
subgraph 交叉熵
A1["二分类<br/>H = -[ylogŷ + (1-y)log(1-ŷ)]"]
A2["多分类<br/>H = -∑yᵢlogŷᵢ"]
end
A1 & A2
style A1 fill:#ffebee
| 损失函数 | 公式 | 应用 |
|---|
| 二元交叉熵 | -[ylogŷ+(1-y)log(1-ŷ)] | 二分类 |
| 多类交叉熵 | -∑yᵢlogŷᵢ | 多分类 |
| 带权交叉熵 | -∑wᵢyᵢlogŷᵢ | 类别不平衡 |
KL散度
| 概念 | 公式 | 意义 |
|---|
| KL散度 | DKL(P‖Q) = ∑P(x)log[P(x)/Q(x)] | 分布差异 |
| 非对称性 | DKL(P‖Q) ≠ DKL(Q‖P) | 方向依赖 |
| 非负性 | DKL(P‖Q) ≥ 0 | 始终非负 |
KL散度应用：
1. 变分自编码器（VAE）
2. 知识蒸馏
3. 强化学习策略优化
信息瓶颈
graph TB
subgraph 信息瓶颈
A1["编码<br/>X→T"]
A2["解码<br/>T→Y"]
A3["目标<br/>最小化I(X;T),最大化I(T;Y)"]
end
A1 --> A2 --> A3
style A1 fill:#ffebee
🎯 核心结论
信息论核心概念
- 信息：不确定性的度量
- 熵：平均不确定性
- 互信息：共享信息量
- 编码：信息表示方法
- 信道容量：传输极限
学习路径
信息论学习四步骤：
1. 信息度量：自信息、熵、互信息
2. 编码理论：信源编码、信道编码
3. 机器学习应用：交叉熵、KL散度
4. 深度学习：信息瓶颈、表示学习
📚 参考文献
- 《信息论基础》- Thomas Cover
- 《信息论与编码》- 傅祖芸
- 《Elements of Information Theory》
- 《Information Theory, Inference, and Learning Algorithms》- MacKay
- 《深度学习》- 信息论部分
- 《信息论与机器学习》
- 《编码理论》
- 《通信原理》
3 items under this folder.