信息论 按认知顺序学:先会量不确定性(熵)→ 再量两个变量共多少信息(互信息)→ 最后量两个分布差多少代价(KL 散度)。 📚 内容导航 名称说明链接信息熵平均编码长度;交叉熵损失、生成采样与特征筛选的同一把尺进入互信息知道 X 后 Y 少多少不确定;线性相关看不出的关系它能看出进入KL 散度用 q 近似 p 多付的代价;前向/反向决定模型是保覆盖还是抓主模式进入 🎯 按问题找答案 你想解决的问题先看交叉熵损失、温度采样、模型过度自信信息熵特征选哪个、相关性近 0 却明显有关互信息知识蒸馏/VAE 选哪个方向、分布漂移监控KL 散度 🔗 相关链接 主题链接上一级打开微积分打开离散数学打开线性代数打开优化理论打开概率论与数理统计打开