信息论

按认知顺序学:先会量不确定性(熵)→ 再量两个变量共多少信息(互信息)→ 最后量两个分布差多少代价(KL 散度)。


📚 内容导航

名称说明链接
信息熵平均编码长度;交叉熵损失、生成采样与特征筛选的同一把尺进入
互信息知道 X 后 Y 少多少不确定;线性相关看不出的关系它能看出进入
KL 散度用 q 近似 p 多付的代价;前向/反向决定模型是保覆盖还是抓主模式进入

🎯 按问题找答案

你想解决的问题先看
交叉熵损失、温度采样、模型过度自信信息熵
特征选哪个、相关性近 0 却明显有关互信息
知识蒸馏/VAE 选哪个方向、分布漂移监控KL 散度

🔗 相关链接

主题链接
上一级打开
微积分打开
离散数学打开
线性代数打开
优化理论打开
概率论与数理统计打开

此文件夹下有3条笔记。